[論文レビュー] Context-Aware Multipath Networks

Dumindu Tissera, Kumara Kahatapitiya+3 more|arXiv (Cornell University)|Jul 26, 2019

Advanced Neural Network Applications参考文献 37被引用数 6

ひとこと要約

本論文は、入力の文脈に応じて特徴量を動的に割り当てる学習可能でデータ依存のルーティングを備えたマルチパスCNN、Context-Aware Multipath Networks (CAMNet) を提案する。CAMNetは、ドメイン固有の特徴量と共有特徴量の間で効率的なリソース共有と文脈に配慮したエンドツーエンドのフローモデル制御を可能にすることで、画像分類およびピクセルラベル付けタスクにおいて、シングルパス、ワイド、およびディープなネットワークを上回る性能を発揮する。

ABSTRACT

Making a single network effectively address diverse contexts---learning the variations within a dataset or multiple datasets---is an intriguing step towards achieving generalized intelligence. Existing approaches of deepening, widening, and assembling networks are not cost effective in general. In view of this, networks which can allocate resources according to the context of the input and regulate flow of information across the network are effective. In this paper, we present Context-Aware Multipath Network (CAMNet), a multi-path neural network with data-dependant routing between parallel tensors. We show that our model performs as a generalized model capturing variations in individual datasets and multiple different datasets, both simultaneously and sequentially. CAMNet surpasses the performance of classification and pixel-labeling tasks in comparison with the equivalent single-path, multi-path, and deeper single-path networks, considering datasets individually, sequentially, and in combination. The data-dependent routing between tensors in CAMNet enables the model to control the flow of information end-to-end, deciding which resources to be common or domain-specific.

研究の動機と目的

• 異なる分布と文脈を持つ複数のデータセットに一般化できる1つのニューラルネットワークを訓練する課題に対処すること。
• 深さを増すか幅を広げるというアプローチの限界を克服し、多様なデータ分布を効率的に処理すること。
• 1つのモデル内で共有またはドメイン固有のパスを動的に選択的に使用する文脈に配慮した特徴ルーティングを可能にすること。
• 以前に学習したドメインの知識を保持しながら新しいドメインに適応できるように、継続的学習における性能を向上させること。
• 学習可能なルーティング、特に固定アーキテクチャではなく、が深層ネットワークにおける多ドメイン一般化に有効であることを示すこと。

提案手法

• CAMNetは、各層で複数の並列テンソルを用いて多様な特徴表現を抽出し、異なる入力文脈に柔軟に適応可能にする。
• 入力の文脈に応じてデータを特定のテンソルに動的に割り当てる学習可能でデータ依存のルーティング機構を採用し、トレーニング可能なパラメータを有するソフトルーティングゲートを用いる。
• 各層の各テンソルが次の層のすべてのテンソルの活性化を予測することで、ネットワーク全体に文脈に配慮したフローモデル制御を可能にする。
• 微分可能ゲートを介して実装されるルーティングにより、ネットワーク全体のエンドツーエンド学習が可能になる。
• 分類（全結合ヘッドを備えた）およびセグメンテーション（エンコーダデコーダ構造を備えた）の両設定で評価が行われる。
• シングルパス、マルチパス、およびより深いシングルパスベースラインと比較され、ルーティングの有無によるアブレーションも実施される。

実験結果

リサーチクエスチョン

• RQ1 統一されたアーキテクチャを用いて、異なるデータ分布を持つ複数のデータセットから効果的に学習できる1つのニューラルネットワークは構築可能か？
• RQ2 固定または非ルーティングのマルチパスネットワークと比較して、並列テンソル間のデータ依存ルーティングは性能向上に寄与するか？
• RQ3 新規ドメインを学習する際、CAMNetは以前に学習したデータセットの性能をどれほど効果的に維持できるか（生涯学習の文脈で）？
• RQ4 CAMNetの並列テンソルは、異なる特徴表現を学習するのか、それとも情報の重複を生じるのか？
• RQ5 パフォーマンスとモデル効率のバランスを考慮した場合、並列テンソルの最適数は何か？

主な発見

• CAMNetは、MNIST、CIFAR-10、Cityscapesなど、個々のデータセットにおいて、同等のシングルパスおよびマルチパスネットワークを上回る性能を発揮する。これは文脈に配慮したルーティングのおかげである。
• 統合されたデータセットを共同で学習する際、CAMNetはベースラインよりも高い全体的な正確度を達成しており、異なるドメインごとに顕著な活性化パスの違いが観察される。
• CAMNetは生涯学習のシナリオにおいても優れた性能を維持し、標準的なネットワークと比較して、以前に学習したドメインの知識をより効果的に保持する。
• 並列テンソルの数（例：CAMNet3 対 CAMNet4）は性能に影響を及ぼす。CAMNet3はほとんどの個別データセットで飽和を示すが、CAMNet4は共同学習および生涯学習においてわずかな向上を示す。
• 並列畳み込みの重みヒストограмは明確に異なる分布を示しており、異なるパスが重複する特徴ではなく、異なる特徴表現を学習していることが確認される。
• ルーティング機構により冗長性が低減される：学習可能なゲートが存在しない場合、マルチパスネットワークの並列テンソルは類似した特徴を学習するが、CAMNetのルーティングにより、文脈に応じた選択的で特徴に特化した利用が可能になる。