[論文レビュー] Auxiliary Learning for Deep Multi-task Learning

Yifan Liu, Bohan Zhuang+3 more|arXiv (Cornell University)|Sep 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 6

ひとこと要約

本稿では、深層多タスク学習におけるハードパラメータ共有の性能を向上させるための補助学習フレームワークを提案する。訓練中にタスク固有の補助モジュールを導入することで最適化の安定性を高め、一般化性能を向上させる。補助モジュールはタスク固有の損失で訓練され、共有層に正則化のインダクティブバイアスを提供するが、推論時のコストは追加しない。この手法により、セマンティックセグメンテーション、深度推定、表面法線予測の各タスクで最先端の性能を達成した。

ABSTRACT

Multi-task learning (MTL) is an efficient solution to solve multiple tasks simultaneously in order to get better speed and performance than handling each single-task in turn. The most current methods can be categorized as either: (i) hard parameter sharing where a subset of the parameters is shared among tasks while other parameters are task-specific; or (ii) soft parameter sharing where all parameters are task-specific but they are jointly regularized. Both methods suffer from limitations: the shared hidden layers of the former are difficult to optimize due to the competing objectives while the complexity of the latter grows linearly with the increasing number of tasks. To mitigate those drawbacks, this paper proposes an alternative, where we explicitly construct an auxiliary module to mimic the soft parameter sharing for assisting the optimization of the hard parameter sharing layers in the training phase. In particular, the auxiliary module takes the outputs of the shared hidden layers as inputs and is supervised by the auxiliary task loss. During training, the auxiliary module is jointly optimized with the MTL network, serving as a regularization by introducing an inductive bias to the shared layers. In the testing phase, only the original MTL network is kept. Thus our method avoids the limitation of both categories. We evaluate the proposed auxiliary module on pixel-wise prediction tasks, including semantic segmentation, depth estimation, and surface normal prediction with different network structures. The extensive experiments over various settings verify the effectiveness of our methods.

研究の動機と目的

• 競合するタスクによる相互に矛盾する勾配の影響によって引き起こされるハードパラメータ共有マルチタスク学習における最適化の不安定性を解消すること。
• タスク数に比例して増加する計算コストの問題を抱えるソフトパラメータ共有の非効率性を克服すること。
• 推論の複雑さを増加させることなく、共有表現の一般化性能と収束性を向上させること。
• 人為的なバイアスを減らすために、補助モジュールの自動アーキテクチャ探索を検討すること。

提案手法

• 共有隠れ層からの特徴を入力とし、タスク固有の補助損失で監視される補助モジュールを導入する。
• 訓練中に本マルチタスクネットワークと補助モジュールを同時に最適化することで、共有層に階層的な勾配信号とインダクティブバイアスを供給する。
• 推論時には補助モジュールを破棄し、元のモデルの効率性と推論速度を維持する。
• 神経アーキテクチャ探索（NAS）を用いて、人為的設計に依存しない最適な補助モジュール構造を自動で発見する。
• 複数のピクセル単位の予測タスクにわたり、さまざまなバックボーンアーキテクチャ（例：ResNet-50、MobileNetV2）に本フレームワークを適用する。
• 訓練時にタスク損失の重み付き和を用い、補助モジュールが競合する目的をバランスさせる正則化を提供する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の目的で訓練された補助モジュールは、ハードパラメータ共有MTLにおける共有層の最適化を改善できるか？
• RQ2 補助モジュールによるインダクティブバイアスの導入は、マルチタスク学習における一般化性能と収束性を向上させるか？
• RQ3 本手法は、推論コストを増加させることなく、単一タスクベースラインと同等またはそれ以上の性能を達成できるか？
• RQ4 3タスクMTL（セグメンテーション、深度、法線推定）のように、2つ以上のタスクにスケーリングした場合に、補助学習戦略は効果を示すか？
• RQ5 神経アーキテクチャ探索は、人為的バイアスなしに最適な補助モジュール設計を効果的に発見できるか？

主な発見

• 提案手法により、NYUD-V2でのJointベースラインのmIoUが42.9%から47.9%に向上し、TRL-ResNet-50などの最先端手法を上回った。
• NYUD-V2において、本手法はRel Error 0.127、RMS Error 0.495を達成し、深度推定の単一タスクベースライン（0.137 Rel Error）を上回った。
• SUNRGBDでは、すべての補助モジュールを用いた場合、mIoUが53.7%から54.9%に向上し、平均法線誤差が28.7°から26.1°に低下した。
• 表面法線損失で監視された補助モジュールは、深度予測性能を顕著に向上させ、強力なタスク間知識伝達の兆候を示した。
• NASで最適化された補助モジュールは最高の性能を達成し、MTLにおける自動アーキテクチャ探索の有効性を裏付けた。
• 可視化結果から、ベースラインと比較してより一貫性のあるセマンティックラベルとより正確な深度マップが得られ、定性的な改善が確認された。