[論文レビュー] Multi-Task Learning by Deep Collaboration and Application in Facial Landmark Detection

Ludovic Trottier, Philippe Giguère+1 more|arXiv (Cornell University)|Oct 28, 2017

Face recognition and analysis参考文献 27被引用数 11

ひとこと要約

本稿では、畳み込みニューラルネットワークにおけるマルチタスク学習のための新しいソフトパラメータ共有メカニズムであるDeep Collaborationを提案する。非線形な横方向接続を用いて、深さに特化した特徴共有を可能にする。顔のランドマーク検出において評価された結果、Cross-Stitch や MTCNN といった最先端手法を上回り、MTFL データセットで28.97%の失敗率を達成した。アブレーションスタディにより、関連タスクからの深さに特化した知識の転送が確認された。

ABSTRACT

Convolutional neural networks (CNNs) have become the most successful approach in many vision-related domains. However, they are limited to domains where data is abundant. Recent works have looked at multi-task learning (MTL) to mitigate data scarcity by leveraging domain-specific information from related tasks. In this paper, we present a novel soft-parameter sharing mechanism for CNNs in a MTL setting, which we refer to as Deep Collaboration. We propose taking into account the notion that task relevance depends on depth by using lateral transformation blocs with skip connections. This allows extracting task-specific features at various depth without sacrificing features relevant to all tasks. We show that CNNs connected with our Deep Collaboration obtain better accuracy on facial landmark detection with related tasks. We finally verify that our approach effectively allows knowledge sharing by showing depth-specific influence of tasks that we know are related.

研究の動機と目的

• マルチタスク学習における関連タスク間の知識転送を改善することで、ディープラーニングにおけるデータ不足の問題に対処すること。
• ハードパラメータ共有の限界、例えばノイズの多いタスクによる干渉や共有特徴への過剰な強調といった問題を克服すること。
• タスク固有の特徴学習を可能にしつつ、効果的で深さに敏感な知識共有を可能にするソフトパラメータ共有メカニズムの開発。
• 提案手法が関連タスクからの意味のある、深さに特化した影響を実証的に確認すること。
• 既存のMTL手法と比較して顔のランドマーク検出において優れた性能を示すことを示すこと。

提案手法

• タスク固有の特徴をグローバル特徴に集約するための非線形変換と、それらを再びタスク固有のCNNに統合するための非線形変換の2つを用いる、微分可能なコラボレーティブブロックを提案する。
• 複数の深さで特徴の交換を可能にするスキップ接続付きの横方向接続を導入することで、タスクの深さに特化した関連性を実現する。
• 各タスクに独自のCNNを持つソフトパラメータ共有フレームワークを採用し、共有層ではなくコラボレーティブブロックを通じて知識を共有する。
• 既存のCNNアーキテクチャ（MTCNNを含む）に、アーキテクチャの大幅な見直しを加えずに、プラグインモジュールとしてコラボレーティブブロックを適用する。
• 非線形変換を用いたリサイジュー似の構造を採用し、タスク間の複雑な非線形依存関係を捉える。
• アブレーションスタディを通じて、関連タスクの深さに特化した影響が特徴マップに与える影響を測定する。

実験結果

リサーチクエスチョン

• RQ1 非線形的かつ深さに特化した接続を持つソフトパラメータ共有メカニズムは、顔のランドマーク検出におけるマルチタスク学習の性能を向上させることができるか？
• RQ2 提案されたDeep Collaborationメカニズムは、関連タスクからメインタスクへの効果的な知識転送を可能にするか？
• RQ3 提案フレームワークにおいて、関連タスクの影響はネットワークの異なる深さでどのように変化するか？
• RQ4 コラボレーティブブロックは、Cross-Stitch や MTCNN といった既存のMTL手法を顔のランドマーク検出で上回ることができるか？
• RQ5 トレーニング中にタスク貢献度にランダムな変動が生じても、知識共有メカニズムは頑健であるか？

主な発見

• 提案されたDeep Collaborationネットワークは、MTFLデータセットで28.97%の失敗率を達成し、標準のMTCNN（37.85%）を上回った。
• ランドマーク検出の平均誤差は、Deep Collaborationで0.0930に低下したのに対し、標準のMTCNNでは0.0996であった。
• 顔の検出に失敗した回数は79回であったが、標準のMTCNNでは112回であった。これは、検出のロバストネスが向上したことを示している。
• アブレーションスタディにより、関連タスクが特定の深さでの特徴に影響を与えていることが確認された。特に、高レベルの抽象的特徴（例：顔の向き）を出力するBlock 5で最も高い影響が観察された。
• 結果から、コラボレーティブブロックが、顔の回転などランドマーク予測に重要な高レベル要因に関して、効果的で深さに特化した知識転送を可能にすることが示された。
• 本手法は、トレーニング中のタスク貢献度のランダムな変動に対しても頑健であることが示され、知識共有メカニズムの安定性が裏付けられた。