[論文レビュー] Analysis of Information Transfer from Heterogeneous Sources via Precise High-dimensional Asymptotics

Fan Yang, Hongyang R. Zhang+3 more|arXiv (Cornell University)|Oct 22, 2020

Stochastic Gradient Optimization Techniques参考文献 52被引用数 4

ひとこと要約

本稿は、共有パラメータを有する2層線形ニューラルネットワークを用いて、異種のタスク間の情報伝達を分析し、特徴次元と標本サイズが固定比率で増加する高次元漸近的条件下で、予測リスクの正確な漸近的性質を導出する。モデルシフト下で非単調なリスク曲線が生じることを明らかにし、正または負の転送が発生する正確な条件を同定する。また、テキスト分類タスクにおいて、段階的データ追加戦略の有効性を検証する。

ABSTRACT

We consider the problem of learning -- gaining knowledge from one source task and applying it to a different but related target task. A fundamental question in learning is whether combining the data of both tasks works better than using only the target task's data (equivalently, whether a information transfer happens). We study this question formally in a linear regression setting where a two-layer linear neural network estimator combines both tasks' data. The estimator uses a shared parameter vector for both tasks and exhibits positive or negative information by varying dataset characteristics. We characterize the precise asymptotic limit of the prediction risk of the above estimator when the sample sizes increase with the feature dimension proportionally at fixed ratios. We also show that the asymptotic limit is sufficiently accurate for finite dimensions. Then, we provide the exact condition to determine positive (and negative) information in a random-effect model, leading to several theoretical insights. For example, the risk curve is non-monotone under model shift, thus motivating a learning procedure that progressively adds data from the source task. We validate this procedure's efficiency on text classification tasks with a neural network that applies a shared feature space for both tasks, similar to the above estimator. The main ingredient of the analysis is finding the high-dimensional asymptotic limits of various functions involving the sum of two independent sample covariance matrices with different population covariance matrices, which may be of independent interest.

研究の動機と目的

• ソースタスクとターゲットタスクのデータを組み合わせることで、ターゲットデータのみを使用する場合よりも予測性能が向上するかどうかを形式的に決定すること。
• 2層線形ニューラルネットワーク推定子がタスク間でパラメータを共有する場合の、正確な漸近的予測リスクを同定すること。
• ランダム効果モデルにおいて、情報伝達が正または負である正確な条件を同定すること。
• モデルシフトと非単調なリスク行動に適応する段階的データ追加学習手順の開発と検証すること。
• 異なる母集団構造を持つ独立した標本共分散行列の和を含む関数の高次元漸近的極限を導出すること。

提案手法

• ソースタスクとターゲットタスクの両方で共有パラメータ・ベクトルを有する2層線形ニューラルネットワーク推定子を用いた線形回帰フレームワークで、学習問題を形式化する。
• 標本サイズと特徴次元が固定比率で比例して増加する高次元漸近的条件下での予測リスクを分析する。
• 異なる母集団共分散行列を有する2つの独立した標本共分散行列の和を含む関数の正確な漸近的極限を導出する。
• ランダム行列理論のツールを用いて、推定子のリスクの漸近的挙動を、データセットの特性の変化に応じて特徴付ける。
• 観察された非単調なリスク曲線に基づき、段階的にソースタスクデータを追加する学習手順を提案する。
• 理論的推定子を模倣する共有特徴空間を有するニューラルネットワークを用いて、テキスト分類タスクで提案手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ソースタスクとターゲットタスクのデータを組み合わせることで、ターゲットデータのみを使用する場合よりも予測性能が向上する条件は何か？
• RQ2 特徴数と標本数が比例して増加する際、共有パラメータを持つ線形推定子の予測リスクはどのように漸近的に振る舞うか？
• RQ3 異種データを有するランダム効果モデルにおいて、情報伝達が正または負である要因は何か？
• RQ4 モデルシフトがリスク曲線に与える影響は何か？ そして、この影響を活用してより優れた学習手順を設計できるか？
• RQ5 導出された漸近的極限は、実用的状況における有限次元的挙動をどれほど正確に反映しているか？

主な発見

• モデルシフト下で、共有パラメータ推定子の予測リスクは、ソースタスクのデータサイズに対して非単調な依存関係を示すことが判明し、データ追加が常に性能向上をもたらすわけではないことを示唆する。
• ソースタスクとターゲットタスクの相対的な固有構造と標本サイズに応じて、正または負の情報伝達が発生する正確な条件が導出された。
• 漸近的リスク極限が有限次元的設定でも非常に正確であることが示され、理論的近似の妥当性が裏付けられた。
• 非単調なリスク曲線は、有害なソースデータの寄与を避けることで一般化性能を向上させる段階的データ追加戦略の動機付けとなる。
• 異なる母集団構造を持つ2つの独立した標本共分散行列の和に関する理論的分析は、ランダム行列理論においても独自の関心を有する結果をもたらした。
• テキスト分類タスクにおける実験的検証により、段階的学習手順の有効性が確認され、単純なデータ結合手法よりも優れた性能を示した。