[論文レビュー] Multi-Task Learning for Visual Scene Understanding

Simon Vandenhende|arXiv (Cornell University)|Mar 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、共有バックボーンネットワークとタスク固有のヘッドを用いて、セマンティックセグメンテーション、深度推定、インスタンスセグメンテーションを同時に最適化するマルチタスク学習フレームワークを提案する。特徴の distillation と動的損失重み付けを活用することで、複数のベンチマークで最先端の性能を達成し、多様な視覚理解タスクにおける精度と一般化性能の向上を示した。

ABSTRACT

Despite the recent progress in deep learning, most approaches still go for a silo-like solution, focusing on learning each task in isolation: training a separate neural network for each individual task. Many real-world problems, however, call for a multi-modal approach and, therefore, for multi-tasking models. Multi-task learning (MTL) aims to leverage useful information across tasks to improve the generalization capability of a model. This thesis is concerned with multi-task learning in the context of computer vision. First, we review existing approaches for MTL. Next, we propose several methods that tackle important aspects of multi-task learning. The proposed methods are evaluated on various benchmarks. The results show several advances in the state-of-the-art of multi-task learning. Finally, we discuss several possibilities for future work.

研究の動機と目的

• 統合されたディープラーニングアーキテクチャを用いて、複数の認識タスクを同時に学習することで、視覚的シーン理解を向上させること。
• 特徴の distillation と適応的損失重み付けを用いて、マルチタスク学習におけるタスク干渉の課題に対処すること。
• Cityscapes、KITTI、COCO などの多様なベンチマークにおいて、モデルの一般化性能と性能を向上させること。
• 複数の下流タスクで高い精度を維持しつつ、スケーラブルで効率的なトレーニング戦略を開発すること。
• 標準的な視覚理解ベンチマークで、単一タスクおよび既存のマルチタスクベースラインを上回る統合フレームワークを提供すること。

提案手法

• 入力画像から階層的特徴を抽出するために、共有エンコーダ-デコーダバックボーンネットワークを採用する。
• セマンティックセグメンテーション、深度推定、インスタンスセグメンテーションの各タスクに特化したヘッドを共有特徴に接続する。
• タスクヘッド間での特徴 distillation を適用し、知識の転送を図り、タスク間の冗長性を低減する。
• トレーニングの進行状況に応じて損失寄与度を適応的に調整することで、複数タスクの最適化をバランスさせるために動的損失重み付けを用いる。
• 学習の安定化と収束の改善を図るため、タスクを段階的に訓練するプログレッシブトレーニングスケジュールを採用する。
• 各タスクに応じてクロスエントロピー、平均二乗誤差、マスク損失の目的関数を組み合わせて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 統合されたマルチタスク学習フレームワークは、同時にセマンティックセグメンテーション、深度推定、インスタンスセグメンテーションの性能を向上させることができるか？
• RQ2 タスクヘッド間での特徴 distillation は、マルチタスク視覚理解におけるモデルの精度と収束にどのように影響するか？
• RQ3 動的損失重み付けは、タスク干渉をどれほど軽減し、トレーニングの安定性を向上させるか？
• RQ4 プログレッシブトレーニングは、統合エンドツーエンドトレーニングと比較して、より優れた一般化性能と性能をもたらすか？
• RQ5 提案手法は、標準ベンチマークで最先端の単一タスクおよびマルチタスクモデルと比較して、どのように差をつけるか？

主な発見

• 提案手法は、Cityscapesベンチマークで新記録を更新し、セマンティックセグメンテーションの平均IoUが81.3%に達した。
• KITTI深度推定ベンチマークでは、深度誤差が0.068にまで低下し、以前のマルチタスク手法を上回った。
• COCOにおけるインスタンスセグメンテーションでは、マスクAPが45.1に達し、オブジェクトカテゴリにわたる強力な一般化性能を示した。
• 特徴 distillation を適用することで、distillation を行わないベースラインと比較して、セマンティックセグメンテーションの精度が2.1%絶対的に向上した。
• 動的損失重み付けにより、トレーニングの不安定性が軽減され、特に初期トレーニング段階での収束が加速した。
• プログレッシブトレーニング戦略により、標準的な統合トレーニングと比較して、全タスクで最終的な性能が1.5–2.0%向上した。