[論文レビュー] Cross-Task Consistency Learning Framework for Multi-Task Learning

Akihiro Nakano, Shi Chen+1 more|arXiv (Cornell University)|Nov 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 4

ひとこと要約

本論文は、2タスクのマルチタスク学習（MTL）におけるクロスタスク一貫性学習フレームワークを提案し、新規のクロスタスク一貫性損失およびアライメント損失を用いて、タスク間の予測の一貫性を強制することで性能向上を図る。この手法はXTasC-Netとして実装され、タスク固有のネットワーク間で予測を転送し、パrameter数を減らしながらCityscapesおよびNYUデータセットで最先端の結果を達成しており、特に深度推定とセマンティックセグメンテーションにおいてmIoUの向上と深度誤差の低減で顕著な優位性を示している。

ABSTRACT

Multi-task learning (MTL) is an active field in deep learning in which we train a model to jointly learn multiple tasks by exploiting relationships between the tasks. It has been shown that MTL helps the model share the learned features between tasks and enhance predictions compared to when learning each task independently. We propose a new learning framework for 2-task MTL problem that uses the predictions of one task as inputs to another network to predict the other task. We define two new loss terms inspired by cycle-consistency loss and contrastive learning, alignment loss and cross-task consistency loss. Both losses are designed to enforce the model to align the predictions of multiple tasks so that the model predicts consistently. We theoretically prove that both losses help the model learn more efficiently and that cross-task consistency loss is better in terms of alignment with the straight-forward predictions. Experimental results also show that our proposed model achieves significant performance on the benchmark Cityscapes and NYU dataset.

研究の動機と目的

• ステレオ画像や専用のデータ収集に依存せずに、マルチタスク学習（MTL）における有効なタスク関係の学習を解決すること。
• 2つの関連するタスク（例えばセマンティックセグメンテーションと深度推定）の予測の一貫性を強制することで、MTLにおける汎化性と効率性を向上させること。
• ステレオおよびモノクロナリックデータセット（例：Cityscapes（ステレオ）およびNYU（赤外線））に適用可能な自己教師付きMTLフレームワークを開発すること。
• 予測のアライメントとモデルのロバスト性を向上させる新しい損失形式「クロスタスク一貫性損失」の理論的および実験的妥当性を検証すること。
• 従来のMTL手法と比較して、パラメータ効率が高く、ベンチマークデータセットで優れた性能を示すことを実証すること。

提案手法

• サイクル一貫性および対照的学習にインspiredされた、2つの新しい損失項（アライメント損失およびクロスタスク一貫性損失）を導入する。
• 2本のブランチ構造を採用：1つは入力画像からの直接予測を、もう1つは1つのタスクの予測を別のタスクの入力として使用するタスク転送予測を実行する。
• クロスタスク一貫性損失は、1つのタスクの転送予測と、もう1つのタスクの正例との間の損失を計算し、タスク間の一貫性を強制する。
• アライメント損失は、両タスクの予測が潜在空間でアライメントされるようにし、共有表現学習を促進する。
• モデル名であるXTasC-Netは、両タスクにエンコーダ・デコーダネットワークを用い、予測の相互転送を活用してタスク関係を効果的に活用する。
• 理論的分析により、クロスタスク一貫性損失が直接予測を近似する点でアライメント損失を上回り、小さな値で上界に抑えられることを証明している。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きMTLフレームワークは、ステレオデータを必要とせずに、セマンティックセグメンテーションおよび深度推定タスクの性能を向上させることができるか？
• RQ2 転送された予測を用いたクロスタスク一貫性の強制は、モデルの汎化性および性能にどのように影響を与えるか？
• RQ3 提案されたクロスタスク一貫性損失は、理論的および実験的にアライメント損失を上回る優位性を有しているか、タスク関係をよりよく捉えているか？
• RQ4 本フレームワークは、従来のMTLモデルよりも少ないパラメータで最先端の性能を達成できるか？
• RQ5 本手法は、ステレオおよび赤外線カメラなどの異なるデータ収集モダリティに一般化可能か？

主な発見

• Cityscapesデータセットでは、XTasC-NetはmIoU 30.31および相対的深度誤差0.2235を達成し、mIoUおよび相対誤差の両面でアダプティブMTL（AdaMT-Net）を上回った。
• NYUデータセットでは、XTasC-NetはmIoU 30.31および絶対的深度誤差0.5954を達成し、ベースラインのST-Netと比較してmIoUで7.87ポイントの向上と相対誤差で0.0288の低減を示した。
• XTasC-Netは、CityscapesおよびNYUデータセットの両方で最先端の性能を達成しており、セグメンテーションのmIoUと深度推定の精度の両面で顕著な向上を示した。
• クロスタスク一貫性損失は、直接予測を近似する点で理論的にアライメント損失を上回り、小さな値で上界に抑えられることを示した。
• 本手法はパラメータ効率が高く、従来の自己教師付きMTL手法がステレオペアを必要としているのとは異なり、ステレオおよびモノクロナリックデータセットの両方へ適用可能である。
• Cityscapesにおける定性的な結果から、モデルはより対照的な深度予測を生成しており、これはセグメンテーションから深度予測への情報伝達によるものと推定される。