[논문 리뷰] Training on the test set? An analysis of Spampinato et al. [31]

Li Ren, Jared Sigurd Johansen외 5명|arXiv (Cornell University)|2018. 12. 18.

Neural dynamics and brain function참고 문헌 23인용 수 16

한 줄 요약

이 논문은 Spampinato 등이 블록 설계를 사용하여 뇌전도(EEG) 신호로부터 40개의 물체 클래스를 분류할 수 있다고 주장한 바를 도전하며, 높은 정확도 결과가 뇌 신호 복원에 기인한 것이 아니라, 동일한 블록에서 훈련 및 테스트 샘플이 중복되어 발생하는 데이터 오염으로 인한 것임을 입증한다. 빠른 이벤트 설계를 적용한 결과 성능은 우연 수준으로 떨어지며, 무작위 코드북이 뇌 기반 표현보다 더 뛰어난 성능을 보여, 뇌 기반 컴퓨터 비전 기술의 핵심 주장이 뒤집힌다.

ABSTRACT

A recent paper [31] claims to classify brain processing evoked in subjects watching ImageNet stimuli as measured with EEG and to use a representation derived from this processing to create a novel object classifier. That paper, together with a series of subsequent papers [8, 15, 17, 20, 21, 30, 35], claims to revolutionize the field by achieving extremely successful results on several computer-vision tasks, including object classification, transfer learning, and generation of images depicting human perception and thought using brain-derived representations measured through EEG. Our novel experiments and analyses demonstrate that their results crucially depend on the block design that they use, where all stimuli of a given class are presented together, and fail with a rapid-event design, where stimuli of different classes are randomly intermixed. The block design leads to classification of arbitrary brain states based on block-level temporal correlations that tend to exist in all EEG data, rather than stimulus-related activity. Because every trial in their test sets comes from the same block as many trials in the corresponding training sets, their block design thus leads to surreptitiously training on the test set. This invalidates all subsequent analyses performed on this data in multiple published papers and calls into question all of the purported results. We further show that a novel object classifier constructed with a random codebook performs as well as or better than a novel object classifier constructed with the representation extracted from EEG data, suggesting that the performance of their classifier constructed with a representation extracted from EEG data does not benefit at all from the brain-derived representation. Our results calibrate the underlying difficulty of the tasks involved and caution against sensational and overly optimistic, but false, claims to the contrary.

연구 동기 및 목표

• Spampinato 등이 블록 설계를 사용하여 EEG 신호로부터 40개의 물체 클래스를 분류할 수 있다고 주장한 바의 타당성을 조사하기 위해.
• 보고된 높은 분류 정확도가 진정한 자극 관련 뇌 활동 때문인지, 아니면 블록 설계로 인한 비합리적인 시간적 상관관계 때문인지 테스트하기 위해.
• EEG에서 유도된 뇌 기반 표현이 컴퓨터 비전 모델의 성능을 진정으로 향상시키는지, 아니면 무작위 코드북이 동일하거나 더 나은 성능을 보이는지 평가하기 위해.
• 블록 설계와 정적 뇌 활동에 의존하는 EEG 기반 컴퓨터 비전 접근법의 광범위한 방법론적 기초를 도전하기 위해.
• 오염된 데이터와 잘못된 실험 프rotocol에 기반한 과도하게 낙관적인 주장으로부터 연구 공동체가 경계하도록 경고하기 위해.

제안 방법

• 블록 수준의 시간적 상관관계를 제거하기 위해, 서로 다른 클래스의 자극이 무작위로 혼합된 빠른 이벤트 설계를 사용하여 분류 파이프라인을 재현하였다.
• 블록 설계에서 지배적인 신호인 DC 및 매우 낮은 주파수(VLF) 성분을 포함한 장기적 정적 활동을 분석하였다.
• 뇌 기반 표현 분류기의 성능을 무작위 코드북을 사용한 분류기와 비교하여 신경 데이터 기여도를 분리하였다.
• 분류 모델이 데이터 오염에 의존하는지 여부를 테스트하기 위해 무작위 데이터 공격을 적용하였다.
• 활성도 맵 분석을 통해 기능 맵 성분을 제거했을 때의 분류 정확도 영향을 뇌 신호와 무관하게 평가하였다.
• LSTM-fully connected-ReLU 아키텍처에 대한 제거 연구를 수행하여 정적 대비 동적 뇌 패턴에 대한 의존도를 평가하였다.

실험 결과

연구 질문

• RQ1 Spampinato 등이 보고한 높은 분류 정확도는 동일한 클래스의 자극을 함께 묶는 블록 설계에 의존하는가?
• RQ2 자극 순서를 무작위화하고 블록 수준의 상관관계를 끊는 빠른 이벤트 설계에서 EEG 기반 물체 분류가 재현 가능한가?
• RQ3 DC 및 매우 낮은 주파수 EEG 성분이 블록 설계에서 분류 성능에 얼마나 기여하는가?
• RQ4 EEG에서 유도된 뇌 기반 표현이 진정으로 물체 분류 성능을 향상시키는가, 아니면 무작위 코드북이 동일하거나 더 나은 성능을 보이는가?
• RQ5 뇌 기반 컴퓨터 비전 분야에서의 주장된 성과는 진정으로 타당한가, 아니면 데이터 오염과 잘못된 실험 설계의 산물인가?

주요 결과

• 빠른 이벤트 설계를 적용한 결과 분류 정확도가 우연 수준으로 떨어지며, 원래 결과가 블록 수준의 시간적 상관관계에 의존할 뿐 아니라 자극 특이적 뇌 반응에 기반하지 않는다는 것을 시사한다.
• 분류기 성능은 주로 DC 및 매우 낮은 주파수 EEG 성분에 의해 주도되며, 이는 블록 내에서의 임의의 장기적 정서 상태를 반영할 뿐, 동적인 자극 유도 반응은 아니다.
• 무작위 코드북을 사용해 훈련한 새로운 물체 분류기가 뇌 기반 표현을 사용한 분류기와 동일하거나 더 뛰어난 성능을 보이며, 뇌 데이터에서 유의미한 이점이 없음을 시사한다.
• 블록 설계는 테스트 세트에 대한 암묵적 훈련을 초래하며, 테스트 시험은 훈련 시험과 동일한 블록에서 유래하므로, 여러 개의 출판된 논문에서 후속 분석이 모두 무효화된다.
• 블록 설계에 의존하는 EEG 기반 컴퓨터 비전 접근법의 전체 방법론적 기초가 의심받으며, 데이터 오염이 뇌 신호 복원 주장의 근거를 무너뜨린다.
• 결과적으로 EEG에서 물체 카테고리 분류라는 기본 과제는 주장된 것보다 훨씬 더 어려우며, 현재의 방법론은 주장된 최첨단 성능을 달성하는 데 아직 능력이 없다는 것을 시사한다.