[論文レビュー] Auxiliary Learning by Implicit Differentiation

Aviv Navon, Idan Achituve+3 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 4

ひとこと要約

この論文は、暗黙の微分を用いて深層学習における自動補助学習を実現する新しいフレームワーク、AuxiLearnを提案する。非線形損失組み合わせの学習とデータから新たな補助タスクを発見するプロセスを統合し、画像セグメンテーションおよび少数ショット分類タスクにおいて低データ環境で顕著な性能向上を達成し、MAXL や STL といったベースラインと比較して一貫した向上を示す。

ABSTRACT

Training neural networks with auxiliary tasks is a common practice for improving the performance on a main task of interest. Two main challenges arise in this multi-task learning setting: (i) designing useful auxiliary tasks; and (ii) combining auxiliary tasks into a single coherent loss. Here, we propose a novel framework, AuxiLearn, that targets both challenges based on implicit differentiation. First, when useful auxiliaries are known, we propose learning a network that combines all losses into a single coherent objective function. This network can learn non-linear interactions between tasks. Second, when no useful auxiliary task is known, we describe how to learn a network that generates a meaningful, novel auxiliary task. We evaluate AuxiLearn in a series of tasks and domains, including image segmentation and learning with attributes in the low data regime, and find that it consistently outperforms competing methods.

研究の動機と目的

• マルチタスク学習における効果的な補助タスクの設計という課題に取り組み、過学習が顕著に現れる低データ環境を特に念頭に置く。
• 事前に定義された補助損失の非線形組み合わせを学習する統一フレームワークを構築し、単純な重み付けを越えた一般化性能の向上を実現する。
• ドメインの専門知識を一切用いずに、入力データのみを用いて意味のある補助タスクを自動で発見する。
• 主タスクに有益な補助タスクを学習することでモデルの一般化性能を向上させ、訓練損失の最適化に限定しない。

提案手法

• 主学習セット上で補助パrameterの直接最適化を回避するため、主ネットワークと新しいラベルを生成する補助ネットワークを同時に最適化する暗黙の微分を用いる。
• 二段階最適化の枠組みを採用：主ネットワークは主タスクと補助タスクの両方で訓練され、補助ネットワークは別個の小規模な補助データセット上で最適化され、一般化性能が向上する。
• 複数の補助損失の非線形的かつタスクに依存する組み合わせを学習するため、深層ニューラルネットワーク（例：CNN）を導入し、単純な重み和の代わりに使用する。
• 内側の最適化問題を逆伝播可能にするために、暗黙関数定理（IFT）を適用し、損失組み合わせネットワークのエンドツーエンド学習を可能にする。
• 微分可能で安定した暗黙の微分プロセスを保証するため、滑らかな活性化関数（例：Softplus）と重み正規化を用いる。
• 計算が可能になるように、Neumann級数や限定的な内側最適化ステップ数といった近似手法を採用する。

実験結果

リサーチクエスチョン

• RQ1 暗黙の微分は、線形重み付けを越える一般化性能向上を実現する非線形な複数の補助損失の組み合わせを有効に可能にするか？
• RQ2 ドメインの専門知識を一切用いずに、データ駆動型の意味のある補助タスクを自動生成できるニューラルネットワークを訓練できるか？
• RQ3 主学習セットではなく別個の補助データセット上で補助タスクを学習することで、より良い一般化性能と過学習の低減が達成できるか？
• RQ4 補助学習が最も効果を発揮する低データ環境において、提案フレームワークの性能はどの程度か？
• RQ5 補助タスクの有効性を規定する理論的性質は何か？また、性能向上を予測する上で最も予測力のある要因は何か？

主な発見

• CUB-200-2011 データセットにおける15ショット学習で、AuxiLearn は 26.1% ± 0.7 のテスト精度を達成し、MAXL（24.2% ± 0.8）や STL（22.6% ± 0.2）を顕著に上回った。
• STL-10 データセットで学習データの15%を使用した場合、AuxiLearn は 81.42% ± 0.30 の精度に達し、MAXL（81.37% ± 0.26）や STL（75.85% ± 0.32）を上回った。
• CIFAR-10 で学習データの10%を使用した場合、AuxiLearn は 76.75% ± 0.08 の精度を達成し、STL（72.63% ± 2.14）や MAXL（75.85% ± 0.32）を上回った。
• 非滑らか成分（例：ReLU）を含んでも、非滑らか性の点が零測度であるため、最適化と一般化が安定していることが示された。
• 理論的分析により、ニュートン更新がどの補助タスクが主タスクに有益であるかを予測する上で重要な予測因子であることが示された。これは、補助タスク設計に原理的根拠を与える。
• AuxiLearn は、画像セグメンテーションや少数ショット分類を含む多様なタスクにおいて一貫した性能向上を示し、特に補助学習の恩恵が顕著に現れる低データ環境で顕著な向上を達成した。