[論文レビュー] Multi-Task Learning for Dense Prediction Tasks: A Survey

Simon Vandenhende, Stamatios Georgoulis+4 more|Lirias (KU Leuven)|Apr 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 70被引用数 53

ひとこと要約

ピクセルレベルのビジョンタスクに対する深層多タスク学習（MTL）の網羅的な調査。アーキテクチャ、最適化手法、実証評価を詳述。

ABSTRACT

With the advent of deep learning, many dense prediction tasks, i.e. tasks that produce pixel-level predictions, have seen significant performance improvements. The typical approach is to learn these tasks in isolation, that is, a separate neural network is trained for each individual task. Yet, recent multi-task learning (MTL) techniques have shown promising results w.r.t. performance, computations and/or memory footprint, by jointly tackling multiple tasks through a learned shared representation. In this survey, we provide a well-rounded view on state-of-the-art deep learning approaches for MTL in computer vision, explicitly emphasizing on dense prediction tasks. Our contributions concern the following. First, we consider MTL from a network architecture point-of-view. We include an extensive overview and discuss the advantages/disadvantages of recent popular MTL models. Second, we examine various optimization methods to tackle the joint learning of multiple tasks. We summarize the qualitative elements of these works and explore their commonalities and differences. Finally, we provide an extensive experimental evaluation across a variety of dense prediction benchmarks to examine the pros and cons of the different methods, including both architectural and optimization based strategies.

研究の動機と目的

• 最先端のMTL技術を用いた密集予測タスクの統一的な見通しを提供する。
• タスク間相互作用が発生する場所（エンコーダー志向 vs デコーダー志向）でアーキテクチャを分類し、その長所と短所を要約する。
• トレーニング中の複数タスクのバランスを取るための最適化戦略をレビューする。
• アーキテクチャと最適化アプローチを評価するためのベンチマーク横断的な広範な実験比較を提示する。
• 検討された技術の採用を促進するため公開コードを共有する。

提案手法

• 相互作用位置に基づくMTLアーキテクチャの分類（エンコーダー志向 vs デコーダー志向）。
• エンコーダー志向法の調査（例: cross-stitch, NDDR-CNN, MTAN, branched MTL）。
• デコーダー志向法の調査（例: PAD-Net, PAP-Net, MTI-Net, JTRL, MTI-Net）。
• タスクバランスの最適化戦略の検討（例: 固定不確実性, GradNorm, DWA, 多目的最適化）。
• 方法を比較するための diverse dense-prediction benchmarks への包括的な実験評価。
• 採用を容易にする公開コードの提供（GitHubリンク）。

実験結果

リサーチクエスチョン

• RQ1 密集予測タスクにおいて共有表現を最大限活用するための多タスク学習のアーキテクチャ選択はどれか。
• RQ2 エンコーダー志向とデコーダー志向のMTLアーキテクチャは性能と効率の面でどう比較されるか。
• RQ3 トレーニング中に複数タスクのバランスを最も効果的に取る最適化戦略はどれか。
• RQ4 異なるMTLアプローチは公正な apples-to-apples 設定で多様な密集予測ベンチマークをどのように示すか。

主な発見

• エンコーダー志向とデコーダー志向のアーキテクチャは補完的な強みを提供する。デコーダー志向のアプローチはマルチスケール蒸留を介してクロスタスク相互作用を豊かにすることが多い。
• ソフトパラメータ共有法（例: cross-stitch, NDDR-CNN, MTAN）は特徴共有に対処する一方で、タスク数が増えると規模の課題に直面する。
• 多モーダルまたはマルチスケール蒸留を行うデコーダー志向モデル（例: PAD-Net, PAP-Net, MTI-Net）は、エンコーダーのみの共有よりも豊かなタスク関係を捉える。
• ブランチ型MTLネットワークはタスクのグルーピングと共有を自動化し、予算内での性能と計算のバランスを取るエンドツーエンドの最適化能力を示す。
• タスクバランスの最適化戦略（例: 固定不確実性, GradNorm, DWA, 多目的最適化）は、特定のタスクの支配を避け、結合性能を向上させるために重要である。
• ベンチマーク横断の広範な実験は、アーキテクチャ選択と最適化の相対的な強みとトレードオフについて apples-to-apples の洞察を提供する。