[論文レビュー] What shapes feature representations? Exploring datasets, architectures, and training

Katherine L. Hermann, Andrew K. Lampinen|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 54

ひとこと要約

本論文は、ニューラルネットワークが合成データセットにおける特徴の有用性と相関を制御することで特徴表現をどのように形成するかを調べ、特徴の強化と抑制、解読の容易さに依存する特徴、モデル間の表現類似性パターンを示している。

ABSTRACT

In naturalistic learning problems, a model's input contains a wide range of features, some useful for the task at hand, and others not. Of the useful features, which ones does the model use? Of the task-irrelevant features, which ones does the model represent? Answers to these questions are important for understanding the basis of models' decisions, as well as for building models that learn versatile, adaptable representations useful beyond the original training task. We study these questions using synthetic datasets in which the task-relevance of input features can be controlled directly. We find that when two features redundantly predict the labels, the model preferentially represents one, and its preference reflects what was most linearly decodable from the untrained model. Over training, task-relevant features are enhanced, and task-irrelevant features are partially suppressed. Interestingly, in some cases, an easier, weakly predictive feature can suppress a more strongly predictive, but more difficult one. Additionally, models trained to recognize both easy and hard features learn representations most similar to models that use only the easy feature. Further, easy features lead to more consistent representations across model runs than do hard features. Finally, models have greater representational similarity to an untrained model than to models trained on a different task. Our results highlight the complex processes that determine which features a model represents.

研究の動機と目的

• 訓練が制御された合成データセットにおけるターゲット特徴と非ターゲット特徴のデコード可能性をどのように変えるかを明らかにする。
• ラベルを予測する際、複数の特徴が予測する場合、モデルは特徴を強化するか抑制するかを同定する。
• 特徴の相関が表現上の選択と相関の抑制する非ターゲット特徴にどう影響するか。
• 特徴の難易度と学習可能性が特徴選択と表現の安定性にどう影響するか。
• 同じタスク、異なるタスク、訓練済みと未訓練のモデル間で表現を比較評価する。

提案手法

• ターゲット特徴（形状、質感、色）を制御可能なターゲットと非ターゲット特徴を持つ合成ビジョンデータセットを作成し、AlexNetとResNet-50を訓練してターゲット特徴を分類する。
• 線形デコーダを用いて層の活性化を特徴ラベルに写像し、訓練前後のデコード可能性を検証する。
• デコーディング分析を用いて、ターゲットおよび非ターゲット特徴の層間での強化対抑制を評価する。
• 相関特徴データセット（Trifeature Correlated）と二値の容易/難易度の高い特徴データセットを構築して冗長性とトレードオフを調べる。
• 表現類似性分析（RSA）を適用して、モデル間・タスク間・アーキテクチャ間・訓練状況間での表現の類似性を比較する。

実験結果

リサーチクエスチョン

• RQ1 訓練は層やアーキテクチャを超えてターゲット特徴を強化し、非ターゲット特徴を抑制するのか？
• RQ2 特徴が複数ありラベルを冗長に予測する場合、モデルはどの特徴を優先的に表現し、なぜか？
• RQ3 モデルはより予測性は高いが難しい特徴より学習しやすい特徴を好むのか、そしてそれが表現にどのように影響するのか？
• RQ4 特徴相関は相関した非ターゲット特徴のデコーダ可能性とその抑制にどう影響するのか？
• RQ5 同じタスクで訓練されたモデル同士の表現の類似性は、異なるタスクで訓練されたモデルや未訓練モデルと比べてどうか？

主な発見

• 訓練後はターゲット特徴のデコード性が高まり、未訓練モデルと比べて非ターゲット特徴は抑制されるが完全には排除されない。
• 2つの特徴がラベルを冗長に予測する場合、モデルは一方の特徴をもう一方より好む。これは未訓練時のデコード可能性順（色 > 形 > 質感）と一致する。
• より簡単で弱く予測力のある特徴が、より強く予測力が高いが難しい特徴を抑制することがある（怠惰な学習）。
• 容易な特徴はラン multiple runsでより一貫した表現を生み、多タスクモデルは容易な特徴で訓練されたモデルに似る。
• 表現の類似性は容易な特徴に支配される；同じタスクで訓練されたモデルは、異なるタスクで訓練されたモデルよりも互いに類似しており、未訓練モデルは時にタスク横断モデルよりも類似している。
• 未訓練の表現はタスク関連の構造を substantial に捉え、特徴デコーダ可能性と潜在的な使用を予測できる。