[논문 리뷰] Teaching Categories to Human Learners with Visual Explanations

Oisin Mac Aodha, Shihan Su외 3명|arXiv (Cornell University)|2018. 02. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 23

한 줄 요약

이 논문은 시각적 카테고리 학습을 향상시키기 위해 가르치는 이미지와 함께 해석 가능한 시각적 설명(판별적 이미지 영역을 강조)을 제공하는 기계 학습 프레임워크 EXPLAIN을 제안한다. 학습자가 이러한 설명을 어떻게 통합하는지 모델링함으로써, 레이블만 제공하는 것보다 훨씬 뛰어난 테스트 시 성능을 달성하며, 나비, 망막 OCT 스캔, 중국어 문자 등 다양한 데이터셋에서 성능 향상이 관찰된다.

ABSTRACT

We study the problem of computer-assisted teaching with explanations. Conventional approaches for machine teaching typically only provide feedback at the instance level e.g., the category or label of the instance. However, it is intuitive that clear explanations from a knowledgeable teacher can significantly improve a student's ability to learn a new concept. To address these existing limitations, we propose a teaching framework that provides interpretable explanations as feedback and models how the learner incorporates this additional information. In the case of images, we show that we can automatically generate explanations that highlight the parts of the image that are responsible for the class label. Experiments on human learners illustrate that, on average, participants achieve better test set performance on challenging categorization tasks when taught with our interpretable approach compared to existing methods.

연구 동기 및 목표

• 기존 기계 학습에서 제공하는 레이블 외에 해석 가능한 시각적 설명을 통합하여 인간 학습 성능을 향상시키기 위해 기존 기계 학습의 한계를 해결한다.
• 학습자가 카테고리 학습 과정에서 시각적 설명을 어떻게 통합하는지에 대한 인간 학습자의 의사결정 과정을 모델링한다.
• 추가적인 애너테이션 없이도 정보적인 이미지와 인간이 이해할 수 있는 설명을 동시에 선택하고 생성하는 교육 프레임워크를 개발한다.
• 다양한 시각적 분류 작업에서 실제 인간 학습 환경에서 해석 가능한 피드백의 효과를 평가한다.
• 시각적 설명이 유사한 카테고리 간 혼동을 줄이고, 새로운 테스트 이미지에 대한 일반화 성능을 향상시키는지 확인한다.

제안 방법

• 프리트레인된 CNN을 사용해 특징 표현을 추출하고, 학습자가 카테고리 경계에 대해 가질 수 있는 믿음의 가설 공간을 모델링한다.
• 활성도 맵 또는 주의 메커니즘을 사용해 판별적 이미지 영역을 식별함으로써 자동으로 시각적 설명을 생성하며, 클래스 예측에 기여하는 부분을 강조한다.
• 불확실성 감소와 해석 가능성 기반으로 이미지-설명 쌍을 선택함으로써, 정보성과 명확성의 최적화를 달성한다.
• 확률적 학습자 모델을 사용해 참가자가 설명을 받은 후 믿음을 어떻게 갱신하는지 시뮬레이션함으로써, 학습 경로를 예측하고 개선할 수 있도록 한다.
• 추가적인 인간 애너테이션 없이 기존의 레이블이 있는 데이터셋에서 설명을 생성함으로써 데이터 수집 오버헤드를 줄인다.
• 기계 투르크에서 실제 인간 참가자를 대상으로 평가하여, 레이블 중심과 설명 강화 전략을 비교한다.

실험 결과

연구 질문

• RQ1 해석 가능한 시각적 설명은 레이블 중심 피드백보다 봉급형 시각적 분류 작업에서 인간 학습자의 성능을 향상시키는가?
• RQ2 시각적 설명의 통합은 학습자가 새로운 테스트 이미지로 일반화하는 능력에 어떤 영향을 미치는가?
• RQ3 설명의 품질과 해석 가능성 점수는 다양한 시각적 도메인에서 학습 결과에 얼마나 큰 영향을 미치는가?
• RQ4 가설 공간의 선택(예: CNN 기반 vs. 커뮤니티 기반 임베딩)이 교육 알고리즘의 성능에 영향을 미치는가?
• RQ5 어려운 또는 모호한 예제를 포함한 교육 시퀀스가 학습자 성능에 미치는 영향은 무엇이며, 설명 기반 교육은 이러한 영향을 완화할 수 있는가?

주요 결과

• EXPLAIN로 교육받은 학습자들은 특히 나비와 OCT 눈 데이터셋과 같이 도전적인 데이터셋에서 레이블만 제공하는 RAND_IM 기준보다 유의미하게 높은 테스트 시 정확도를 달성했다.
• 나비 데이터셋에서는 EXPLAIN이 높은 점수를 받은 학습자의 비율이 높아, 더 뛰어난 학습 효율성과 유사 종 간 혼동 감소를 보였다.
• OCT 눈 데이터셋에서는 EXPLAIN이 비대칭 혼동 행렬 요소를 줄여, 특히 매크룰 에드레마와 정상 간의 잘못된 분류를 감소시켰다.
• 중국어 문자 데이터셋에서는 CNN 기반 가설 공간이 네 번째 교육 이미지의 선택이 잘못되어 성능이 열악했지만, 커뮤니티 기반 유사도 임베딩을 사용할 경우(EXPLAIN_CROWD) 성능이 향상되었다.
• 랜덤 이미지 선택과 설명을 조합한 RAND_EXP 기준은 중국어 문자 데이터셋에서 EXPLAIN을 초월했으며, 이는 설명의 해석 가능성 점수와 가설 공간의 일치성이 핵심 요소임을 시사한다.
• 수동으로 평가한 해석 가능성 점수를 사용해 인간 인식에 맞는 임베딩 공간을 구성한 경우(중국어 - 커뮤니티), EXPLAIN_CROWD가 가장 뛰어난 전체 테스트 시 성능을 기록했으며, 인간 인식과의 일치성이 중요함을 확인했다.