[論文レビュー] Training on the test set? An analysis of Spampinato et al. [31]

Li Ren, Jared Sigurd Johansen+5 more|arXiv (Cornell University)|Dec 18, 2018

Neural dynamics and brain function参考文献 23被引用数 16

ひとこと要約

この論文は、スパンピナート等人のブロック設計を用いたEEG信号からの40クラス分類に関する主張の妥当性に疑問を呈し、高い正確性がブロック内でのデータ汚染（訓練サンプルとテストサンプルが同じブロックから抽出されている）に起因することを示している。急速イベント設計を用いた実験では性能が運任せに低下し、ランダムコードブックが脳由来の表現を上回る。これは、脳にインspiredされたコンピュータビジョンの進展に関する核心的主張を根底から揺るがすものである。

ABSTRACT

A recent paper [31] claims to classify brain processing evoked in subjects watching ImageNet stimuli as measured with EEG and to use a representation derived from this processing to create a novel object classifier. That paper, together with a series of subsequent papers [8, 15, 17, 20, 21, 30, 35], claims to revolutionize the field by achieving extremely successful results on several computer-vision tasks, including object classification, transfer learning, and generation of images depicting human perception and thought using brain-derived representations measured through EEG. Our novel experiments and analyses demonstrate that their results crucially depend on the block design that they use, where all stimuli of a given class are presented together, and fail with a rapid-event design, where stimuli of different classes are randomly intermixed. The block design leads to classification of arbitrary brain states based on block-level temporal correlations that tend to exist in all EEG data, rather than stimulus-related activity. Because every trial in their test sets comes from the same block as many trials in the corresponding training sets, their block design thus leads to surreptitiously training on the test set. This invalidates all subsequent analyses performed on this data in multiple published papers and calls into question all of the purported results. We further show that a novel object classifier constructed with a random codebook performs as well as or better than a novel object classifier constructed with the representation extracted from EEG data, suggesting that the performance of their classifier constructed with a representation extracted from EEG data does not benefit at all from the brain-derived representation. Our results calibrate the underlying difficulty of the tasks involved and caution against sensational and overly optimistic, but false, claims to the contrary.

研究の動機と目的

• スパンピナート等人がブロック設計を用いてEEG信号から40クラスの物体を分類できると主張する根拠の妥当性を検証すること。
• 報告された高い分類正確性が、真の刺激関連脳活動に起因するのか、それともブロック設計に起因する誤った時間的相関に起因するのかを検証すること。
• EEGから得られる脳由来の表現がコンピュータビジョンモデルを本当に向上させるのか、それともランダムコードブックと同等かそれ以上の性能を示すのかを評価すること。
• ブロック設計と静的脳活動に依存するEEGベースのコンピュータビジョンアプローチの広範な方法論的基盤に疑問を呈すること。
• 汚染されたデータと誤った実験プロトコルに基づく楽観的主張を研究コミュニティが避けるよう警告すること。

提案手法

• ブロックレベルの時間的相関を排除するために、異なるクラスの刺激をランダムに混合する急速イベント設計を用いて分類パイプラインを再実装した。
• ブロック設計において支配的であるDC成分および非常に低周波数（VLF）成分を含む、長期的静的活動をEEGデータで分析した。
• 脳由来の表現分類器とランダムコードブックを用いた分類器を比較し、神経データの寄与を分離した。
• 分類モデルがデータ汚染に依存しているのか、それとも刺激固有の神経符号化に依存しているのかをテストするため、ランダムデータアタックを適用した。
• 活性マップ解析を用いて、脳信号に依存せずに特徴マップの成分を除去した場合の分類正確性への影響を評価した。
• LSTM-全結合-ReLUアーキテクチャに対してアブレーションスタディを実施し、静的パターンと動的パターンの両者にどれほど依存しているかを評価した。

実験結果

リサーチクエスチョン

• RQ1 スパンピナート等人が報告した高い分類正確性は、同じクラスの刺激をすべてまとめて配置するブロック設計に依存しているのか？
• RQ2 クラスの順序をランダム化しブロックレベルの相関を解消する急速イベント設計でも、EEGベースの物体分類が再現可能か？
• RQ3 DC成分および非常に低周波数EEG成分は、ブロック設計における分類性能にどの程度寄与しているか？
• RQ4 EEGから得られる脳由来の表現が本当に物体分類を向上させるのか、それともランダムコードブックと同等かそれ以上の性能を示すのか？
• RQ5 脳にインspiredされたコンピュータビジョン分野における主張の進歩は、有効なものなのか、それともデータ汚染と誤った実験設計に起因するアーティファクトなのか？

主な発見

• 急速イベント設計を用いた場合、分類正確性が運任せの水準にまで低下する。これは、元の結果が刺激固有の神経符号化ではなく、ブロックレベルの時間的相関に依存していることを示している。
• 分類器の性能は主にDC成分および非常に低周波数EEG成分に起因しており、これはブロック内での任意の長期的メンタル状態を反映しており、動的で刺激誘発の反応とは無関係である。
• ランダムコードブックを用いて訓練した新たな物体分類器が、脳由来の表現を用いたものと同等か、それ以上の性能を示した。これは神経データに利点がないことを示している。
• ブロック設計は、テスト試行が訓練試行と同じブロックから抽出されるため、いわゆる「すり抜け学習」（surreptitious training）を引き起こしており、複数の出版済み論文におけるすべての分析が無効化されている。
• ブロック設計に依存するEEGベースのコンピュータビジョンアプローチの全般的な方法論的基盤が疑問視され、データ汚染がすべての脳信号復号化の主張を根底から揺るがしている。
• 結果から、EEGからの物体カテゴリ分類という課題は、主張されたほど簡単ではなく、現在の手法では提示された最先端性能に到達できていない可能性が示唆される。