[論文レビュー] Learned feature representations are biased by complexity, learning order, position, and more

Andrew K. Lampinen, Stephanie C. Y. Chan+1 more|arXiv (Cornell University)|May 9, 2024

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、特徴の複雑さ、学習順序、出現頻度、出力位置といった非計算的要因が、計算上の役割が同一である場合でも、深層ニューラルネットワークの学習済み特徴表現に系統的なバイアスをもたらす仕組みを調査している。同等のタスク性能を示しても、単純な特徴や早期に学習された特徴がより強く表現される傾向にあり、勾配ベースの表現学習における根本的なインダクティブバイアスが、AI や神経科学における解釈可能性とシステム間比較に挑戦をもたらすことを明らかにした。

ABSTRACT

Representation learning, and interpreting learned representations, are key areas of focus in machine learning and neuroscience. Both fields generally use representations as a means to understand or improve a system's computations. In this work, however, we explore surprising dissociations between representation and computation that may pose challenges for such efforts. We create datasets in which we attempt to match the computational role that different features play, while manipulating other properties of the features or the data. We train various deep learning architectures to compute these multiple abstract features about their inputs. We find that their learned feature representations are systematically biased towards representing some features more strongly than others, depending upon extraneous properties such as feature complexity, the order in which features are learned, and the distribution of features over the inputs. For example, features that are simpler to compute or learned first tend to be represented more strongly and densely than features that are more complex or learned later, even if all features are learned equally well. We also explore how these biases are affected by architectures, optimizers, and training regimes (e.g., in transformers, features decoded earlier in the output sequence also tend to be represented more strongly). Our results help to characterize the inductive biases of gradient-based representation learning. We then illustrate the downstream effects of these biases on various commonly-used methods for analyzing or intervening on representations. These results highlight a key challenge for interpretability $-$ or for comparing the representations of models and brains $-$ disentangling extraneous biases from the computationally important aspects of a system's internal representations.

研究の動機と目的

• 特徴の複雑さや学習順序といった非計算的要因が、深層ニューラルネットワークにおける学習済み表現にどのようにバイアスをもたらすかを調査すること。
• これらのバイアスが、特徴の計算的寄与が同一である場合でも、アーキテクチャ、最適化手法、学習設定に関わらず持続するかどうかを検証すること。
• これらの表現バイアスが、解釈可能性、モデル比較、脳の表現を模倣した分析に与える影響を評価すること。
• これらのバイアスが干渉によって補正または軽減可能かどうかを検討し、特定の学習設定に起因するアーティファクトかどうかを検証すること。

提案手法

• 著者らは、複数の抽象的特徴が明示的に定義され、計算上の役割が同一であるように制御された合成データセットを用いて、MLP、ResNets、Transformers などの多様な深層学習モデルを訓練した。
• 特徴の複雑さ（線形対非線形）、学習順序（逐次的対同時学習）、入力における特徴の出現頻度、および出力系列ヘッドにおける出力位置といった特性を操作した。
• 活性化に基づく手法、特に表現類似度分析（RSA）を用いて、異なる層やモデルにおける特徴の表現強度を比較した。
• 一般化性を評価するため、複数のアーキテクチャと最適化手法を評価し、モデル構造とバイアスパターンの間の相互作用を同定した。
• 単純なモデルにおいて、訓練順序の変更やハードな特徴に関連する入力パターンに焦点を当てることで、バイアスを補正するための干渉を設計した。

実験結果

リサーチクエスチョン

• RQ1 計算的寄与とは独立して、特徴の複雑さが、学習済み表現の強度と密度にどのように影響するか？
• RQ2 特徴が学習される順序が、モデルの内部活性化における表現にどの程度バイアスをもたらすか？
• RQ3 データにおける出現頻度とネットワークの出力系列における位置が、表現強度にどのように影響するか？
• RQ4 これらのバイアスはアーキテクチャ、最適化手法、学習設定によって異なるか？また、それらは逆転または補正可能か？
• RQ5 このような表現バイアスが、モデル行動の解釈や人工的・生物学的ニューロン表現の比較に与える影響は何か？

主な発見

• 計算が単純な特徴（例：線形的に計算可能）は、計算的寄与が同一でも、より強く、より密度高く表現される。
• 訓練中に早期に学習された特徴は、後期に学習された特徴よりも一貫して強く表現され、表現学習における強い経路依存性を示している。
• 訓練データに頻出する特徴は、計算的役割が同一でも、より強く表現される。
• Transformers では、出力系列で早期にデコードされる特徴がより強く表現され、逐次的アーキテクチャにおける位置依存バイアスを示している。
• これらのバイアスはアーキテクチャや最適化手法を問わず強く持続するが、特定の状況では複雑な相互作用がそれらをシフトまたは逆転させることがある。
• 再訓練や入力パターンの干渉によって、単純なモデルではバイアスの補正が可能であるが、大規模モデルや現実世界のシステムにはスケーリングが不実用的である。