[論文レビュー] End-to-End Multi-Task Learning with Attention

Shikun Liu, Edward Johns+1 more|arXiv (Cornell University)|Mar 28, 2018

Advanced Neural Network Applications参考文献 30被引用数 20

ひとこと要約

本稿では、マルチタスク注意ネットワーク（MTAN）を提案する。MTANは、共有グローバル特徴プールから動的に特徴を選択するタスク固有のソフトアテンションモジュールを用いる、パラメータ効率的でエンドツーエンドのマルチタスク学習アーキテクチャである。MTANは、画像セグメンテーション、深度推定、画像分類のタスクにおいて、最先端の性能を達成するとともに、損失重み付けスキームに対して頑健であり、先行手法と比較してパラメータ数を削減している。

ABSTRACT

We propose a novel multi-task learning architecture, which allows learning of task-specific feature-level attention. Our design, the Multi-Task Attention Network (MTAN), consists of a single shared network containing a global feature pool, together with a soft-attention module for each task. These modules allow for learning of task-specific features from the global features, whilst simultaneously allowing for features to be shared across different tasks. The architecture can be trained end-to-end and can be built upon any feed-forward neural network, is simple to implement, and is parameter efficient. We evaluate our approach on a variety of datasets, across both image-to-image predictions and image classification tasks. We show that our architecture is state-of-the-art in multi-task learning compared to existing methods, and is also less sensitive to various weighting schemes in the multi-task loss function. Code is available at https://github.com/lorenmt/mtan.

研究の動機と目的

• マルチタスク学習における効果的な特徴共有と損失バランスの両方の課題に取り組む。
• 手動の介入なしに、タスク共有特徴とタスク固有特徴の両方を自動で学習する統一アーキテクチャを設計する。
• 特にタスク数が増加する際のパラメータ効率性とスケーラビリティを向上させる。
• マルチタスク設定における学習安定性を妨げがちな損失重みのハイパーパramータチューニングへの感受性を低減する。
• 密度予測および画像分類タスクを含む多様なマルチタスクベンチマークで、最先端の性能を達成する。

提案手法

• アーキテクチャは、入力データからグローバル特徴プールを生成するための単一の共有バックボーンネットワークを用いる。
• 各タスクに対して、畳み込みブロックごとにソフトアテンションモジュールを適用し、タスクの関連性に応じて共有特徴を再重み付けする。
• アテンションマスクは微分可能であり、エンドツーエンドで学習可能であり、共有表現からタスク固有の特徴の自動選択を可能にする。
• 本手法は、SegNet や Wide ResNet などの任意の順方向ニューラルネットワークと互換性があり、柔軟なバックボーン統合を可能にする。
• 損失の変化率に基づいてタスク重みを動的に調整する、新しいダイナミックウェイト平均（DWA）損失重み付けスキームを提案する。
• 標準的な最適化を用いてエンドツーエンドで訓練するが、タスク固有のヘッド分離や複雑な正則化の必要がない。

実験結果

リサーチクエスチョン

• RQ1 明示的なアーキテクチャ的分離なしに、マルチタスク学習アーキテクチャが共有特徴とタスク固有特徴の両方を自動で学習できるか？
• RQ2 固定された特徴共有と比較して、アテンションベースの特徴選択は、マルチタスクネットワークにおける性能と頑健性をどのように向上させるか？
• RQ3 提案手法は、マルチタスク学習における損失重みハイパーパramータへの感受性をどの程度低減するか？
• RQ4 既存のマルチタスクネットワークと比較して、顕著にパラメータ効率的である一方で、高い性能を維持できるか？
• RQ5 本手法は、密度予測および画像分類を含む多様なタスクにおいて、ベンチマークデータセット上で一般化できるか？

主な発見

• MTANは、CityScapesデータセットにおいて、セマンティックセグメンテーション、深度推定、表面法線予測の各タスクで最先端の性能を達成し、パラメータ数が2941（単一タスクベースラインの2.9倍小さい）である。
• Visual Decathlon Challengeでは、1タスクあたり1000点中96.88点（最大値の96.88％）の累積スコアを達成し、大多数のベースラインを上回り、複雑な正則化を用いずに最先端の性能を達成している。
• タスクの複雑さが増すほど、性能向上が顕著に現れ、特に複雑なタスクにおいて、単一タスク注意ネットワーク（STAN）を上回っている。
• アテンションマスクの可視化により、タスク固有の特徴選択が明確に示されており、深度タスクでは対比が明確なマスクを示しており、タスク固有特徴に強く依存していることがわかる。
• MTANは、さまざまな損失重み付けスキームに対して頑健であり、特に訓練の安定性と収束性を向上させる、提案されたダイナミックウェイト平均（DWA）が有効である。
• アーキテクチャは極めてパラメータ効率的であり、Visual Decathlonで10タスクに対して2941パラメータにとどまり、明示的なタスク固有ブランチを備えた手法と比較してモデルサイズを著しく削減している。