[논문 리뷰] Interpretable and Pedagogical Examples

Smitha Milli, Pieter Abbeel외 1명|arXiv (Cornell University)|2017. 11. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 11

한 줄 요약

이 논문은 학생 네트워크를 먼저 무작위 예시로 훈련한 후, 고정된 학생을 위해 교사 네트워크를 훈련시켜 보편적인 예시를 선택하는 반복적 훈련 방법을 제안한다. 이 방법은 신경망과 인간에게 규칙 기반, 확률적, 불리안, 계층적 개념을 가르치는 데 있어 무작위 예시보다 뛰어난 이해 가능하고 인간이 이해할 수 있는 가르침 전략을 생성한다.

ABSTRACT

Teachers intentionally pick the most informative examples to show their students. However, if the teacher and student are neural networks, the examples that the teacher network learns to give, although effective at teaching the student, are typically uninterpretable. We show that training the student and teacher iteratively, rather than jointly, can produce interpretable teaching strategies. We evaluate interpretability by (1) measuring the similarity of the teacher's emergent strategies to intuitive strategies in each domain and (2) conducting human experiments to evaluate how effective the teacher's strategies are at teaching humans. We show that the teacher network learns to select or generate interpretable, pedagogical examples to teach rule-based, probabilistic, boolean, and hierarchical concepts.

연구 동기 및 목표

• 신경망 교사와 학생 간의 잠재적 의사소통 프로토콜의 해석 불가능성 문제를 해결하기 위해.
• 학생을 먼저 훈련한 후 교사를 훈련하는 반복적 훈련이 더 해석 가능한 가르침 전략을 이끌 수 있는지 조사하기 위해.
• 유래된 가르침 전략이 인간의 직관적이고 교육적인 원칙과 얼마나 일치하는지 평가하기 위해.
• 통제된 인간 실험을 통해 교사의 예시가 인간에게 얼마나 효과적으로 개념을 가르치는지 테스트하기 위해.
• 공동 최적화에 대한 제약 조건이 더 해석 가능하고 인간과 호환되는 가르침 프로토콜을 이끌어내는지 탐색하기 위해.

제안 방법

• 비교육적, 무작위 분포의 예시로 학생 네트워크를 훈련시어 이해 가능한 학습 전략을 확립하기 위해.
• 학습된 학생 네트워크를 고정하고, 학생의 성능을 최대화하는 예시를 선택하거나 생성하도록 교사 네트워크를 훈련시키기 위해.
• 합리적 교육 이론에서 영감을 얻은 소프트 최대화 전략을 사용하여 교사의 목표를 정의: 학생의 정확한 개념에 대한 사후 확률 믿음이 가장 향상되는 예시를 선택하기 위해.
• 합리적 교육 이론에서 유래한 재귀적 베이지안 프레임워크를 사용하여 교사-학생 상호작용을 모델링하고, 교사의 예시 선택을 기대되는 학생의 성과 향상에 기반시키기 위해.
• 해석 가능성은 인간이 설계한 직관적인 전략과의 유사성과 개념 학습에 대한 인간 실험을 통해 평가하기 위해.
• 반복 최적화를 적용하여 교사와 학생의 훈련을 분리함으로써, 임의적이며 해석 불가능한 매핑을 유도하는 공동 최적화를 피하기 위해.

실험 결과

연구 질문

• RQ1 교사와 학생 네트워크의 반복적 훈련이 인간의 교육적 직관과 일치하는 해석 가능한 가르침 전략을 생성할 수 있는가?
• RQ2 교사의 예시가 인간에게 개념을 가르치는 데에 무작위 예시와 비교해 어떤 성능을 보이는가?
• RQ3 유도된 가르침 전략이 규칙 기반, 확률적, 불리안, 계층적 영역에서 인간이 설계한 직관적인 가르침 전략과 얼마나 유사한가?
• RQ4 학생을 고정한 후 교사를 훈련하는 것이 공동 최적화보다 더 해석 가능하고 효과적인 가르침 프로토콜을 이끌어내는가?
• RQ5 학생의 인덕티브 비이즈와 사전 가정이 해석 가능한 교사 행동을 어떻게 형성하는가?

주요 결과

• 교사 네트워크는 모든 테스트 도메인(규칙 기반, 확률적, 불리안, 계층적 개념)에서 인간이 설계한 전략과 매우 유사한 이해 가능한 교육적 예시를 생성하는 데 성공했다.
• 인간 실험에서 교사의 예시로 가르친 참가자들은 확률적 개념에서 평균 정확도 18%를 기록했으며, 이는 무작위 예시를 받은 참가자들의 8% 정확도보다 유의미하게 높았다(p < 0.001).
• 불리안 개념에 대해 교사가 생성한 예시로 가르친 참가자들은 평균 정확도 76%를 기록했고, 무작위 예시를 사용한 참가자들은 71%를 기록했으며, 이는 통계적으로 유의미한 차이였다(p < 0.001).
• 교사 그룹의 최고 정확도는 확률적 개념에서 70%였고, 무작위 그룹은 20%였으며, 이는 교육적 예시가 더 큰 학습 잠재력을 지녔음을 시사한다.
• 인간 참가자들은 종종 개념의 구조를 잘못 이해했으며(예: 이중 모드 분포를 단일 모드로 오해), 이는 조건부 가정과 모델 불일치가 좋은 예시가 있더라도 여전히 학습을 제한한다는 것을 시사한다.
• 학생을 먼저 훈련한 후 교사를 훈련하는 반복적 훈련 절차는 공동 최적화가 실패한 경우에 비해 이해 가능한 가르침 전략을 생성했으며, 이는 학생의 인덕티브 비이즈가 교사 행동을 형성하는 데 중요한 역할을 한다는 것을 입증한다.