[論文レビュー] Deep Cross Residual Learning for Multitask Visual Recognition

Brendan Jou, Shih‐Fu Chang|arXiv (Cornell University)|Apr 5, 2016

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 7

ひとこと要約

本稿では、関連するタスク間のクロス接続を可能にする、残差ネットワークの新規拡張であるクロス残差学習（CRL）を提案する。学習可能でクロスされた残差を統合することで、標準のマルチタスク残差ネットワークと比較して、パラメータ数を40%削減し、形容詞＋名詞ペア検出タスクで10.4%高い性能を達成する。これにより、一般化性能が向上する共有表現学習が可能になる。

ABSTRACT

Residual learning has recently surfaced as an effective means of constructing very deep neural networks for object recognition. However, current incarnations of residual networks do not allow for the modeling and integration of complex relations between closely coupled recognition tasks or across domains. Such problems are often encountered in multimedia applications involving large-scale content recognition. We propose a novel extension of residual learning for deep networks that enables intuitive learning across multiple related tasks using cross-connections called cross-residuals. These cross-residuals connections can be viewed as a form of in-network regularization and enables greater network generalization. We show how cross-residual learning (CRL) can be integrated in multitask networks to jointly train and detect visual concepts across several tasks. We present a single multitask cross-residual network with >40% less parameters that is able to achieve competitive, or even better, detection performance on a visual sentiment concept detection problem normally requiring multiple specialized single-task networks. The resulting multitask cross-residual network also achieves better detection performance by about 10.4% over a standard multitask residual network without cross-residuals with even a small amount of cross-task weighting.

研究の動機と目的

• 深層マルチタスク視覚認識システムにおける複雑なタスク間関係のモデリングの課題に対処すること。
• 関連するタスク間での情報伝達を可能にすることで、深層ネットワークの一般化性能とパラメータ効率を向上させること。
• 分類器をタスクごとに別々に用意せず、複数の関連タスク（例：形容詞、名詞、形容詞＋名詞ペア検出）を統合的に学習できる統一アーキテクチャの開発。
• クロス残差接続が、固定または恒等写像ベースのクロスタスク接続よりも優れていることを示すこと。
• CRLの有効性を、特に視覚的センチメント概念検出を含む実世界のマルチメディアアプリケーションにおいて検証すること。

提案手法

• 共有された深層ネットワークアーキテクチャ内での異なるタスク間の特徴マップを接続するクロス残差接続（クロス残差）を導入する。
• タスク間の情報伝達を動的に制御するため、クロス残差接続に学習可能なチャネルワイドスケーリング重みを用いる。
• 共有された低レベル特徴とタスク固有のブランチを持つファンアウト型マルチタスクネットワークを設計し、ブランチ間をクロス残差層で強化する。
• 残差マッピングが恒等写像だけでなく、タスク間のものであることを前提とした残差学習フレームワークを採用し、各タスクが関連タスクの表現から利益を得られるようにする。
• 複数のネットワーク深さにクロス残差を適用することで、関連する視覚認識タスク間で階層的特徴共有と特化を実現する。
• 形容詞、名詞、および形容詞＋名詞ペア検出の分類器を同時に学習するため、マルチタスク損失関数を用いてネットワークをエンドツーエンド最適化する。

実験結果

リサーチクエスチョン

• RQ1 関連する視覚認識タスク間での情報共有を可能にすることで、クロス残差接続が深層マルチタスクネットワークの一般化性能を向上させられるか？
• RQ2 学習可能なクロス残差を備えたマルチタスクネットワークの性能は、単一タスクネットワークや標準のマルチタスク残差ネットワークと比べてどうか？
• RQ3 固定または恒等写像ベースのクロスタスク接続と比較して、学習可能なクロス残差重みを用いることで、検出精度とモデル効率が向上するか？
• RQ4 クロス残差学習は、複雑な概念検出タスクの性能を維持または向上させつつ、パラメータ数をどの程度削減できるか？
• RQ5 視覚的概念間の内的・外的関連性（例：「光沢のある車」と「光沢のある靴」）は、クロス残差学習の有効性にどの程度影響を与えるか？

主な発見

• マルチタスククロス残差ネットワークは、専用の単一タスクネットワークと同等またはそれ以上の性能を達成しながら、40%以上のパラメータ数を削減した。
• 最も挑戦的なタスクである形容詞＋名詞ペア検出において、標準のマルチタスク残差ネットワークと比較して約10.4%の相対的精度向上を達成した。
• クロス残差を削除した場合、形容詞＋名詞ペア検出の精度が約9%低下した。これは、クロス残差が性能に不可欠であることを示している。
• 学習されたクロス残差重みは、主に非負で小さく、残差ネットワークのインダクティブバイアスと整合的である。これは、効果的で安定した最適化が行われていることを示唆している。
• 明示的に存在しないが直感的に関連する概念（例：「葉」から「小さな」や「クモ」）を検出できた。これは、タスク間の知識移転による効果的な一般化を示している。
• 「セクシーな唇」が「カラフルな」ものと類似しているため高順位に表示される失敗事例が観察された。これは過剰一般化が生じる可能性を示唆しているが、クロスタスク重み層の容量を増加させることで緩和可能である。