[論文レビュー] Auxiliary Tasks in Multi-task Learning

Lukas Liebel, Marco Körner|arXiv (Cornell University)|May 16, 2018

Advanced Neural Network Applications参考文献 31被引用数 178

ひとこと要約

本論文は、学習を正則化し主タスクの性能を向上させるために、マルチタスクCNNへ補助タスクを追加することを提案し、synMTという合成マルチタスクデータセットを用いた視覚ベースの道路シーン理解で実証している。

ABSTRACT

Multi-task convolutional neural networks (CNNs) have shown impressive results for certain combinations of tasks, such as single-image depth estimation (SIDE) and semantic segmentation. This is achieved by pushing the network towards learning a robust representation that generalizes well to different atomic tasks. We extend this concept by adding auxiliary tasks, which are of minor relevance for the application, to the set of learned tasks. As a kind of additional regularization, they are expected to boost the performance of the ultimately desired main tasks. To study the proposed approach, we picked vision-based road scene understanding (RSU) as an exemplary application. Since multi-task learning requires specialized datasets, particularly when using extensive sets of tasks, we provide a multi-modal dataset for multi-task RSU, called synMT. More than 2.5 $\cdot$ 10^5 synthetic images, annotated with 21 different labels, were acquired from the video game Grand Theft Auto V (GTA V). Our proposed deep multi-task CNN architecture was trained on various combination of tasks using synMT. The experiments confirmed that auxiliary tasks can indeed boost network performance, both in terms of final results and training time.

研究の動機と目的

• 単一の画像から複数の視覚タスクを解くためのマルチタスク学習を動機づける。
• 学習が容易で主タスクの性能向上の正則化を提供する補助タスクを導入する。
• 実験用に多様なラベルを持つ合成マルチタスクRSUデータセット（synMT）を開発する。
• 学習可能なタスク重みと正則化項を用いたマルチタスク損失を提案し、トレーニングを安定化させる。

提案手法

• トータルタスク損失を、タスク重み c_tau と正則化項 R(c_tau) で拡張し、つまらない解を避ける（L_T = sum_tau (1/(2 c_tau^2)) L_tau + log(1 + c_tau^2)）。
• DeepLab/ResNet に基づくエンコーダ-デコーダCNNアーキテクチャを採用し、SIDEとセマンティックセグメンテーション用のタスク特有デコーダと、日付時刻（TIME OF DAY）と天候の補助ブランチを追加する。
• 非線形のスケール付き深度損失 r(d) = 1 - log(d)/log(1000) を使用し、近距離の深度精度を強調する。
• 時間を循環回帰損失としてモデル化（周期的な時間距離を最小化）し、天候を分類損失として扱う；synMTでAdamと小さなバッチサイズで訓練する。

実験結果

リサーチクエスチョン

• RQ1 道路シーン理解のマルチタスクCNNにおいて、補助タスクは主タスクの性能を改善できるか？
• RQ2 どの補助タスクが効果的な正則化となり、トレーニングの収束にどう影響するか？
• RQ3 合成マルチタスクRSUデータセットは、現実世界データへ転用可能な洞察を提供するか？
• RQ4 補助タスクを含めることが深度、セマンティックセグメンテーション、時間、天候の予測に与える影響は？
• RQ5 トレーニング中、c_tau のタスク重みをどのように管理してつまらない解を避けるべきか？

主な発見

• 補助タスクは標準的なマルチタスク設定と比較して主タスクの性能を向上させ、収束を速めることができる。
• 深度推定は天候補助タスク（TIMEとWEATHER）を含めた場合に最も恩恵を受け、いくつかのベースラインと比較して顕著な改善が見られた。
• セマンティックセグメンテーションはマルチタスク設定で改善しないことが多く、補助タスクの利点はタスク依存であることを示している。
• 補助タスクを用いた学習は最適化を加速し、中間の訓練状態全体で収束を速める。
• 4タスク構成（主タスクと両方の補助タスクを含む）は4つのタスクへ一般化する表現を学習できるが、補助タスクの慎重な選択が重要である。