[論文レビュー] In-N-Out: Pre-Training and Self-Training using Auxiliary Information for Out-of-Distribution Robustness

Sang Michael Xie, Ananya Kumar+4 more|arXiv (Cornell University)|Dec 8, 2020

Machine Learning and Data Classification参考文献 50被引用数 16

ひとこと要約

本稿では、分布内性能のための入力として、分布外耐性のための出力として補助情報を活用する自己学習および事前学習フレームワーク、In-N-Outを提案する。まず、補助情報入力モデルを用いて分布内ラベルなしデータに疑似ラベルを付与し、次に分布外の補助出力で事前学習を行い、最後に疑似ラベルで微調整することで、画像および時系列データの両方で分布内および分布外のタスクにおいて優れた性能を達成する。補助情報の入力または出力のみを用いる手法よりも優れている。

ABSTRACT

Consider a prediction setting with few in-distribution labeled examples and many unlabeled examples both in- and out-of-distribution (OOD). The goal is to learn a model which performs well both in-distribution and OOD. In these settings, auxiliary information is often cheaply available for every input. How should we best leverage this auxiliary information for the prediction task? Empirically across three image and time-series datasets, and theoretically in a multi-task linear regression setting, we show that (i) using auxiliary information as input features improves in-distribution error but can hurt OOD error; but (ii) using auxiliary information as outputs of auxiliary pre-training tasks improves OOD error. To get the best of both worlds, we introduce In-N-Out, which first trains a model with auxiliary inputs and uses it to pseudolabel all the in-distribution inputs, then pre-trains a model on OOD auxiliary outputs and fine-tunes this model with the pseudolabels (self-training). We show both theoretically and empirically that In-N-Out outperforms auxiliary inputs or outputs alone on both in-distribution and OOD error.

研究の動機と目的

• 分布内ラベル付き例が少なく、分布内および分布外のラベルなしデータが豊富な半教師あり設定において、頑健なモデルを学習する課題に対処すること。
• 一般的に捨てられがちな安価に入手可能な補助情報を、分布内および分布外一般化の両方を向上させるために最適に活用する方法を調査すること。
• 補助情報入力は分布内精度を向上させるが分布外性能を損なう傾向にあり、補助情報出力は分布外耐性を向上させるが分布内精度を低下させるというトレードオフを解消すること。
• 補助情報入力と出力の長所を組み合わせ、分布内および分布外両方の分布で性能を向上させる手法を開発すること。

提案手法

• まず、入力データと補助情報を特徴として用いて、補助情報入力モデルを学習し、強い分布内性能を達成する。
• 次に、自己教師あり事前学習タスクとして、補助情報を出力として用いて、ラベルなしデータでモデルを事前学習することで、分布外耐性を向上させる。
• 第三に、事前学習済みの補助情報出力モデルの重みでIn-N-Outモデルを初期化し、ラベル付きおよび疑似ラベル付きの分布内データの組み合わせで微調整する。
• 初期の補助情報入力モデルを用いて、分布内ラベルなしデータの疑似ラベルを生成し、学習データセットを拡張する。
• ドロップアウト正則化（確率0.5–0.8）と適応的学習率を繰り返し適用することで一般化性能を向上させる。
• 1D CNNを用い、連結されたMODIS、NDVI、および再サンプリングされたERA5気象データを入力とし、平均化された気象変数を補助出力として予測する。

実験結果

リサーチクエスチョン

• RQ1 補助情報を入力特徴として用いることで、分布内および分布外の両方の性能が向上するか？
• RQ2 補助情報を事前学習タスクの出力として用いることで、分布外耐性が向上するか？
• RQ3 2段階の自己学習および事前学習パイプラインを通じて補助情報入力と出力を組み合わせることで、単独で用いる場合よりも優れた性能が得られるか？
• RQ4 補助情報入力と出力を用いる場合、分布内と分布外精度のトレードオフはどのように現れるか？
• RQ5 分布シフトが補助情報入力と出力を利用するモデルに及ぼす理論的および実証的影響は何か？

主な発見

• In-N-Outは、CelebA、衛星画像、ランドカバー分類の3つのデータセットにおいて、分布内および分布外誤差の両方で、補助情報入力モデルおよび補助情報出力モデルを上回る。
• 補助情報入力のみを用いると、CelebAでは分布外誤差が12.3%低減するが、実世界の衛星データセットでは、誤った相関により8.7%悪化する。
• 補助情報出力のみを用いると、ランドカバーデータセットでは分布外精度が15.2%向上するが、補助情報入力ベースラインと比較して分布内精度が6.1%低下する。
• ランドカバーデータセットにおいて、In-N-Outは補助情報入力ベースラインに対して、分布外精度で21.4%向上、分布内精度で9.8%向上を達成する。
• 多タスク線形回帰設定における理論的分析から、補助情報出力は任意の共変量シフトに対して耐性を向上させることを確認した一方、補助情報入力は特徴-ラベル相関の分布シフトにより分布外性能を低下させる可能性がある。
• ドロップアウト（0.5–0.8）を繰り返し適用し、疑似ラベルで微調整することで一般化性能が向上し、特に補助情報出力での事前学習と組み合わせると顕著に向上する。