[論文レビュー] Integrated perception with recurrent multi-task neural networks

Hakan Bilen, Andrea Vedaldi|arXiv (Cornell University)|Jun 6, 2016

Advanced Neural Network Applications参考文献 27被引用数 8

ひとこと要約

この論文では、複数の認識タスク（画像分類、物体検出、パーツ検出など）を、タスク固有の出力によって繰り返し更新される共通の潜在表現を共有することで統合する、再帰的マルチタスクニューラルネットワーク「Multinet」を提案する。この手法は、タスク間の協調的相互作用を可能にすることで、独立学習および標準的なマルチタスクネットワークを上回る性能を発揮し、PASCAL VOCベンチマークで最大1.5 mAPの向上を達成し、最先端の結果を実現した。

ABSTRACT

Modern discriminative predictors have been shown to match natural intelligences in specific perceptual tasks in image classification, object and part detection, boundary extraction, etc. However, a major advantage that natural intelligences still have is that they work well for "all" perceptual problems together, solving them efficiently and coherently in an "integrated manner". In order to capture some of these advantages in machine perception, we ask two questions: whether deep neural networks can learn universal image representations, useful not only for a single task but for all of them, and how the solutions to the different tasks can be integrated in this framework. We answer by proposing a new architecture, which we call "MultiNet", in which not only deep image features are shared between tasks, but where tasks can interact in a recurrent manner by encoding the results of their analysis in a common shared representation of the data. In this manner, we show that the performance of individual tasks in standard benchmarks can be improved first by sharing features between them and then, more significantly, by integrating their solutions in the common representation.

研究の動機と目的

• 深層ニューラルネットワークが、複数の認識タスクに効果的に適用可能な普遍的で共有された表現を学習できるかどうかを調査すること。
• 異なる視覚的タスクを、性能向上を目的として、1つのアーキテクチャに体系的に統合する方法を検討すること。
• 再帰的フィードバックを介して視覚的データを段階的かつ一貫的に解釈できるモジュラーで拡張可能なフレームワークを構築すること。
• 共有表現の更新を通じたタスク統合が、単なる特徴共有を上回る性能向上をもたらすかどうかを実証すること。

提案手法

• アーキテクチャは、入力データから共通の統合空間表現を生成する共有エンコーダを使用する。
• 各タスクは、共有表現からその固有の出力（例：分類ラベル、バウンディングボックス、パーツ位置）を予測する専用デコーダを備える。
• タスクの出力は、タスク固有のエンコーダを介して統合空間にフィードバックされ、再帰的更新が可能になる。
• 統合関数を用いてタスクからのフィードバックを共有表現に統合し、閉ループ型の再帰的構造を形成する。
• 2種類の更新ルールを評価：1つは全次元の表現を用い、もう1つは512次元のボトルネックを用いて、表現能力の影響を調査する。
• 共有およびタスク固有のパラメータを含む、すべてのコンponentsをエンドツーエンドで同時に最適化してモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、複数の認識タスクに適した普遍的表現を学習できるか？
• RQ2 異なる認識タスクの出力を、全体の性能向上に寄与する意味のある方法で統合できるか？
• RQ3 タスクの予測結果を共有表現に再帰的にフィードバックすることで、静的特徴共有を上回る性能向上が達成できるか？
• RQ4 エンドツーエンド学習によって、タスク間の相乗効果が自動的に発見可能か？

主な発見

• Multinetモデルは、独立ネットワークおよび標準的なマルチタスクネットワークを上回り、PASCAL VOC 2010で平均平均精度（mAP）が最大1.5向上した。
• 512次元のボトルネックを用いても、標準的なマルチタスク学習を上回る性能を示し、表現の圧縮に対して高い耐性を示した。
• 推論時に真のラベル（ground-truth class labels）を入力した場合、分類のmAPが90.1に上昇し、タスク出力からのフィードバックの有効性が裏付けられた。
• フィードバック機構は、主なタスクだけでなく、他のタスクに対しても性能向上をもたらし、タスク間の情報伝達が実現した。
• フルバージョンのMultinetモデルは、PASCAL VOC 2007で分類タスクで79.8 mAP、検出タスクで61.3 mAPを達成し、両方のベースラインを上回った。