[論文レビュー] Brain-like representational straightening of natural movies in robust feedforward neural networks

Tahereh Toosi, Elias B. Issa|arXiv (Cornell University)|Aug 26, 2023

Image Processing Techniques and Applications被引用数 4

ひとこと要約

この論文は、敵対的訓練またはランダムスムージングを用いて訓練されたロバストなフィードフォワードニューラルネットワークが、自然映像を処理する際、入力ノイズに対するロバスト性から生じる自然なメカニズムによって、脳に類似した特徴空間の直線的歪みの解消を示すことを示している。これにより、線形補間を用いて現実的な中間フレームを生成可能となる。主な貢献は、時間的ダイナミクスや予測的目的への明示的学習がなくても、入力ノイズに対するロバスト性から直線的で可逆な表現が自然に出現することである。

ABSTRACT

Representational straightening refers to a decrease in curvature of visual feature representations of a sequence of frames taken from natural movies. Prior work established straightening in neural representations of the primate primary visual cortex (V1) and perceptual straightening in human behavior as a hallmark of biological vision in contrast to artificial feedforward neural networks which did not demonstrate this phenomenon as they were not explicitly optimized to produce temporally predictable movie representations. Here, we show robustness to noise in the input image can produce representational straightening in feedforward neural networks. Both adversarial training (AT) and base classifiers for Random Smoothing (RS) induced remarkably straightened feature codes. Demonstrating their utility within the domain of natural movies, these codes could be inverted to generate intervening movie frames by linear interpolation in the feature space even though they were not trained on these trajectories. Demonstrating their biological utility, we found that AT and RS training improved predictions of neural data in primate V1 over baseline models providing a parsimonious, bio-plausible mechanism -- noise in the sensory input stages -- for generating representations in early visual cortex. Finally, we compared the geometric properties of frame representations in these networks to better understand how they produced representations that mimicked the straightening phenomenon from biology. Overall, this work elucidating emergent properties of robust neural networks demonstrates that it is not necessary to utilize predictive objectives or train directly on natural movie statistics to achieve models supporting straightened movie representations similar to human perception that also predict V1 neural responses.

研究の動機と目的

• ロバストなニューラルネットワークが、静的画像で訓練された後でも、自然映像を処理する際、時間的監督なしに脳に類似した特徴空間の直線的歪みの解消を示すかどうかを調査すること。
• 敵対的訓練やランダムスムージングによる入力ノイズに対するロバスト性が、自然映像のシーケンスに対して線形的かつ可逆的な表現を特徴空間に生み出す程度を特定すること。
• 標準的なフィードフォワードネットワークと比較して、このようなロバストネットワークがサルの一次視覚皮質（V1）における神経応答をどれほどよく予測できるかを評価すること。
• ロバストネットワークの特徴表現の幾何的性質と、生物学的直線的歪みおよび次元拡張との関係を調査すること。

提案手法

• 敵対的訓練（AT）およびランダムスムージング（RS）を用いて、さまざまな入力ノイズレベル（σ² = 0.1, 0.5, 1.0）でResNet-50モデルを訓練した。
• 自然映像フレームのシーケンスに対して、訓練済みネットワークの最終全結合層から特徴表現を抽出した。
• 連続するフレームが特徴空間で形成する軌道の曲率を計算することで、表現の直線的歪みの解消度を測定した。
• 開始フレームと終了フレームの特徴間で線形補間を行い、復元された特徴を画像空間に変換することで、可逆性を評価した。
• 標準的なResNet50ベースラインと比較して、表現の拡張スコア（映像表現の径方向サイズ）や曲率といった幾何的性質を評価した。
• 相関に基づく指標を用いて、ロバストモデルと非ロバストモデルの両方で、サルのV1における神経変動の予測性能を定量的に評価した。

Figure 1: Perceptual straightening of movie frames can be viewed as invertibility of latent representations for static images. Left: straightening of representations refers to a decrease in the curvature of the trajectory in representation space such as a neural population in the brain or human perc

実験結果

リサーチクエスチョン

• RQ1 静的画像で訓練されたロバストなフィードフォワードニューラルネットワークは、時間的監督なしに自然映像シーケンスの特徴空間で脳に類似した直線的歪みの解消を示せるか？
• RQ2 敵対的訓練とランダムスムージングは、自然映像の特徴空間においてどの程度、線形的かつ可逆的な表現を生み出すか？
• RQ3 ロバストネットワークの特徴表現の幾何的性質（曲率、拡張）は、生物学的視覚系と比較してどのように異なるか？
• RQ4 入力ノイズに対するロバスト性は、標準的な分類器と比較して、サルのV1における神経応答を予測する能力を向上させるか？
• RQ5 例えばRSにおけるσ² = 0.5のように、直線的歪みの解消と表現の拡張の両方を最適にバランスさせる入力ノイズレベルが存在するか？

主な発見

• 敵対的訓練およびランダムスムージングで訓練されたロバストネットワークは、自然映像の特徴軌道の曲率が著しく低減しており、サルのV1および人間の知覚で観察されるレベルの直線的歪みの解消を示した。
• ロバストネットワークの特徴空間において、開始フレームと終了フレームの間に線形補間を施すことで、現実的な中間フレームが生成可能であり、時間的予測可能な可逆的表現であることが示された。
• σ² = 0.5のRSモデルは、高い直線的歪みの解消と最小限の表現収縮の両立を達成し、V1神経変動の説明において他のノイズレベルやベースラインモデルを上回った。
• 特にσ² = 0.5のRSモデルと最良のATモデルは、標準的なResNet50と比較して、サルのV1における神経応答を顕著に良く予測し、生物学的妥当性が高まっていることを示した。
• 最良のRSモデルでは、映像表現の拡張スコアがベースラインのResNet50と比較して最も高かった。これは、ロバスト性が網膜からV1への皮質処理に類似した次元拡張を支援している可能性を示唆している。
• ロバストネットワークにおいて直線的表現が出現したのは、時間的シーケンスや予測的目的の学習が一切行われていないにもかかわらずであり、ノイズに対するロバスト性が脳に類似した映像表現を生成する十分なメカニズムであることが示された。

Figure 2: ANNs show straightening of representations when robustness to noise constraints (noise augmentation or adversarial attack) is added to their training. Measurements for straightening of movie sequences (from (Hénaff et al., 2019 ) , in each layer of ResNet50 architecture under different tra