[논문 리뷰] Analysis of Video Feature Learning in Two-Stream CNNs on the Example of Zebrafish Swim Bout Classification

Bennet Breier, Arno Onken|arXiv (Cornell University)|2019. 12. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 49인용 수 4

한 줄 요약

이 연구는 설명 가능한 비디오 특징 학습을 위해 두 개의 스트림 3D CNN와 Deep Taylor 분해를 적용하여 제브라피시 수영 동작 분류에서 96.32%의 정확도를 달성하였다—기존의 SVM 기반 최고 성능보다 6.12% 높으며, 주로 꼬리 몸통의 안정성이 핵심 분류 특징임을 규명함으로써, 아가로오스 성분으로 인한 '현명한 한스' 유사 상관관계를 드러내고 수정함.

ABSTRACT

Semmelhack et al. (2014) have achieved high classification accuracy in distinguishing swim bouts of zebrafish using a Support Vector Machine (SVM). Convolutional Neural Networks (CNNs) have reached superior performance in various image recognition tasks over SVMs, but these powerful networks remain a black box. Reaching better transparency helps to build trust in their classifications and makes learned features interpretable to experts. Using a recently developed technique called Deep Taylor Decomposition, we generated heatmaps to highlight input regions of high relevance for predictions. We find that our CNN makes predictions by analyzing the steadiness of the tail's trunk, which markedly differs from the manually extracted features used by Semmelhack et al. (2014). We further uncovered that the network paid attention to experimental artifacts. Removing these artifacts ensured the validity of predictions. After correction, our best CNN beats the SVM by 6.12%, achieving a classification accuracy of 96.32%. Our work thus demonstrates the utility of AI explainability for CNNs.

연구 동기 및 목표

• 기존의 SVM 기반 최고 성능를 초월하여 제브라피시 수영 동작 검출의 분류 정확도를 향상시키기 위해.
• 딥 러닝 모델이 영상 기반 행동 분석에서 해석 가능하고 생물학적으로 관련 있는 특징을 학습하는지 조사하기 위해.
• 모델의 강건성과 해석 가능성에 해로운 영향을 미치는 실험적 약물 유사 상관관계(예: 아가로오스 잔여물)를 식별하고 수정하기 위해.
• 인공지능 해석 기법이 신경과학 및 행동 생물학 분야의 적용에서 유용성을 입증하기 위해.
• CNN가 수작업으로 설계된 특징보다 제브라피시 이동 분석에서 더 구분력 있는 특징을 학습할 수 있는지 검증하기 위해.

제안 방법

• 수영 운동의 동적 특징을 캡처하기 위해 광학 흐름 입력을 사용하여 두 개의 스트림 3D CNN을 훈련함.
• iNNvestigate 툴박스를 통한 Deep Taylor 분해를 적용하여 예측에 가장 관련이 깊은 입력 영역을 강조하는 색소 맵을 생성함.
• 공간적 및 시간적 스트림의 초기화를 위해 ImageNet으로 사전 학습된 가중치를 사용한 전이 학습을 수행함.
• 훈련 안정성을 향상시키기 위해 광학 흐름 시퀀스에 대한 데이터 증강 및 정규화를 수행함.
• 실험 설정에서 아가로오스 잔여물과 관련된 유사 상관관계를 식별하고 제거함.
• 잔여물 제거 후 모델을 재학습하여 수정된 데이터에서의 성능을 평가함.

실험 결과

연구 질문

• RQ1 두 개의 스트림 CNN는 제브라피시 수영 동작 분류를 위해 어떤 특징를 학습하며, 수작업으로 설계된 특징와 비교해 볼 때 어떻게 다를까?
• RQ2 아가로오스와 같은 실험적 약물이 영상 기반 행동 분류에서 어떤 정도의 유사 상관관계를 유도하는가?
• RQ3 Deep Taylor 분해와 같은 AI 해석 기법이 학습된 특징에서 생물학적으로 의미 있는 패턴을 드러낼 수 있는가?
• RQ4 유사 상관관계를 제거하면 제브라피시 행동 분류에서 모델의 일반화 능력과 성능이 향상되는가?
• RQ5 딥 러닝 모델은 이 분야에서 기존의 수작업 특징 기반 SVM보다 성능이 뛰어나며, 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• CNN는 테스트 정확도 96.32%를 달성하였으며, Semmelhack 등(2014)의 SVM 기반 방법보다 6.12% 높음.
• 모델은 주로 꼬리 몸통의 안정성에 의존하여 수영 동작을 분류하며, 높은 관련성이 몸통 가장자리에 국한됨.
• 색소 맵 분석 결과, 네트워크는 사냥 동작를 판단할 때 날카롭고 국소화된 관련성 프로파일을 탐지하고, 자발적 동작를 판단할 땐 퍼져 있고 진동하는 패턴을 보임.
• '현명한 한스' 상관관계가 드러남: 상단 왼쪽 모서리의 아가로오스 잔여물이 자발적 동작에서는 움직였지만 사냥 동작에서는 움직이지 않아 모델을 오도함.
• 아가로오스 잔여물과의 상관관계를 제거하고 재학습한 후 성능이 향상되었으며, 모델은 여전히 강건함을 유지하여 수정된 특징의 타당성을 확인함.
• CNN는 Semmelhack 등(2014)에서 사용한 특징와 본질적으로 다름. 꼬리 끝의 운동보다 몸통 운동학적 특징에 더 의존함으로써 알려진 행동 신경생물학과 부합함.