[논문 리뷰] Automatic Concept Extraction for Concept Bottleneck-based Video Classification

Jeya Vikranth Jeyakumar, Luke Dickens외 8명|arXiv (Cornell University)|2022. 06. 21.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 비디오 분류를 위한 커뮤니티 기반 자연어 설명에서 복잡한 다중 프레임 시각적 개념을 자동으로 탐지하고 추출하는 모듈인 CoDEx를 제안한다. 자연어 처리(NLP) 기법을 활용해 '새가 날고 있다' 또는 '타자수가 공을 때리고 있다'와 같은 의미적으로 묶인 추상적 개념을 추출함으로써, CoDEx는 수동 개념 설계 없이도 개념 볼트넥 모델이 복잡한 비디오 작업으로 일반화할 수 있도록 하며, 두 개의 새로운 공개 데이터셋에서 경쟁적인 정확도를 달성하면서도 모델의 해석 가능성도 향상시킨다.

ABSTRACT

Recent efforts in interpretable deep learning models have shown that concept-based explanation methods achieve competitive accuracy with standard end-to-end models and enable reasoning and intervention about extracted high-level visual concepts from images, e.g., identifying the wing color and beak length for bird-species classification. However, these concept bottleneck models rely on a necessary and sufficient set of predefined concepts-which is intractable for complex tasks such as video classification. For complex tasks, the labels and the relationship between visual elements span many frames, e.g., identifying a bird flying or catching prey-necessitating concepts with various levels of abstraction. To this end, we present CoDEx, an automatic Concept Discovery and Extraction module that rigorously composes a necessary and sufficient set of concept abstractions for concept-based video classification. CoDEx identifies a rich set of complex concept abstractions from natural language explanations of videos-obviating the need to predefine the amorphous set of concepts. To demonstrate our method's viability, we construct two new public datasets that combine existing complex video classification datasets with short, crowd-sourced natural language explanations for their labels. Our method elicits inherent complex concept abstractions in natural language to generalize concept-bottleneck methods to complex tasks.

연구 동기 및 목표

• 비디오 분류 작업을 위한 추상적이고 다중 프레임 개념의 필수적이고 충분한 집합을 수동으로 정의하는 과제를 해결하기 위해.
• 자연어 설명에서 자동으로 개념을 유도하여 개념 볼트넥 모델이 복잡한 비디오 활동으로 일반화할 수 있도록 하기 위해.
• 커뮤니티 기반 설명을 활용한 개념 탐색 자동화를 통해 도메인 전문가와 데이터 레이블러의 부담을 줄이기 위해.
• 자동으로 추출된 개념이 딥 네URAL 네트워크에 의해 탐지 가능하고 인간에게 의미 있는 설명으로 인식되는지 평가하기 위해.

제안 방법

• CoDEx는 비디오 레이블에 대한 커뮤니티 기반 자연어 설명을 원자적 텍스트 조각으로 분석하기 위해 NLP 기법을 사용한다.
• 임베딩 기반 클러스터링을 활용해 관련된 조각들을 개념 클러스터로 묶어, '사냥하여 먹이를 쫓는다' 또는 '날개를 펴는다'와 같은 다중 프레임, 고수준의 추상 개념을 포착한다.
• 각 클러스터에서 가장 빈도가 높은 개념을 대표 개념으로 선정하여 의미적 일관성과 해석 가능성 확보한다.
• 중간 단계의 개념 예측을 최종 비디오 레이블 분류 이전에 수행하는 개념 볼트넥 아키텍처를 적용하여 모델 간섭 및 설명 가능성을 높인다.
• 예측에 가장 기여하는 개념을 강조하기 위해 어텐션 메커니즘을 적용하여 해석 가능성 향상.
• 기존 비디오 데이터셋과 레이블에 대한 짧은 커뮤니티 기반 설명을 결합하여 새로운 공개 데이터셋 두 개—MLB V2E와 MSR-V2E—를 구축.

실험 결과

연구 질문

• RQ1 기계가 비디오 분류를 위한 자연어 설명에서 복잡한 다중 프레임 개념 추상화를 어떻게 자동으로 추출할 수 있는가?
• RQ2 자동으로 추출된 개념이 후속 비디오 분류 작업에서 딥 네URAL 네트워크에 의해 정보적이고 탐지 가능한가?
• RQ3 기계가 추출한 개념이 올바른 비디오 레이블 분류에 대해 의미 있고 인간이 인식할 수 있는 설명으로 기능하는가?
• RQ4 사전 정의된 전문가가 수작업으로 구성한 개념이 필요 없이 개념 볼트넥 프레임워크를 복잡한 비디오 작업으로 일반화할 수 있는가?

주요 결과

• CoDEx는 '타자수가 공을 휘두르는다' 또는 '공이 땅에 떨어진다'와 같은 스펙트로템포럴 관계를 포착하는 복잡한 다중 프레임 개념을 자연어 설명에서 풍부하게 추출하였다.
• MLB V2E 데이터셋에서 CoDEx를 활용한 개념 볼트넥 모델은 MLP 분류기로 68.38%의 정확도를 기록했으며, 성능 손실가능성이 크지 않은 상태에서 기준 엔드 투 엔드 모델보다 해석 가능성 면에서 뛰어난 성능을 보였다.
• MSR-V2E 데이터셋에서는 MLP 분류기로 61.68%의 정확도를 달성하여 다양한 비디오 분류 작업으로의 일반화 능력을 입증하였다.
• 인간 평가 결과, 자동으로 추출된 개념이 비디오 레이블 예측에 대해 의미 있고 유용한 설명으로 인식됨을 확인하였다.
• 어텐션 메커니즘이 '외야수' 또는 '투수'와 같은 핵심 개념을 효과적으로 강조하여 분류 결정에 가장 영향을 미친 요소를 명확히 하였다.
• 전문가가 정의한 개념에 대한 의존도를 줄이고, 커뮤니티 기반 설명을 활용함으로써 레이블링 작업의 비용을 분산시켰다.