[논문 리뷰] Machine Guides, Human Supervises: Interactive Learning with Global Explanations

Teodora Popordanoska, Mohit Kumar외 1명|arXiv (Cornell University)|2020. 09. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 6

한 줄 요약

이 논문은 인간이 예시를 선택하고 기계가 분류기의 결정 표면에 대한 전역적 해석을 통해 이를 안내하는 새로운 상호작용 기계학습 프레임워크인 설명적 유도 학습(XGL)을 소개한다. XGL은 전체 인스턴스 공간에서 모델의 결함을 드러내어 서사 편향을 완화하며, 알려지지 않은 알려지지 않은 사례가 존재하는 상황에서도 모델 품질을 향상시킨다. 시뮬레이션에서 기계 주도 및 인간 주도 전략을 모두 능가한다.

ABSTRACT

We introduce explanatory guided learning (XGL), a novel interactive learning strategy in which a machine guides a human supervisor toward selecting informative examples for a classifier. The guidance is provided by means of global explanations, which summarize the classifier's behavior on different regions of the instance space and expose its flaws. Compared to other explanatory interactive learning strategies, which are machine-initiated and rely on local explanations, XGL is designed to be robust against cases in which the explanations supplied by the machine oversell the classifier's quality. Moreover, XGL leverages global explanations to open up the black-box of human-initiated interaction, enabling supervisors to select informative examples that challenge the learned model. By drawing a link to interactive machine teaching, we show theoretically that global explanations are a viable approach for guiding supervisors. Our simulations show that explanatory guided learning avoids overselling the model's quality and performs comparably or better than machine- and human-initiated interactive learning strategies in terms of model quality.

연구 동기 및 목표

• 모델의 성능을 과도하게 높이는 지역적 해석이 알려지지 않은 알려지지 않은 사례(고신뢰도 오류)로 인해 발생하는 서사 편향을 해결하기 위해.
• 모델가 자신의 결함을 모른다고 해도 안정적인 성능을 유지하는 인간 감독자 주도 학습 프로토콜을 설계하기 위해.
• 상호작용 학습에서 기계 지도의 타당성과 효과성을 입증하기 위해 전역적 해석을 활용하기 위해.
• 전역적 해석이 감독자가 정보성 있고 도전적인 예시를 식별하고 선택하는 데 도움이 되어 모델 품질을 향상시킬 수 있음을 보여주기 위해.
• XGL을 상호작용 기계학습과 연결하는 이론적 기반을 제공하여 해석 복잡성과 감독 품질 간의 상호 상충 관계를 규명하기 위해.

제안 방법

• XGL는 분류기의 행동을 인스턴스 공간의 다양한 영역에서 요약하는 전역적 해석을 사용하여 체계적 결함과 편향을 드러낸다.
• 기계는 이러한 전역적 해석을 제공하여 인간 감독자가 정보성 있고 영향력 있는 예시—특히 모델의 현재 결정 표면에 도전하는 예시—를 선택하도록 안내한다.
• 개별 쿼리에 집중하는 국소적 해석과는 달리, 전역적 해석은 알려진 오류 영역에서 모델의 잘못된 자신감을 강화하지 않는다.
• 이 접근은 상호작용 기계학습과의 이론적 연결을 통해 기반을 두며, 전역적 해석이 고품질 학습 세트를 구성하는 데 유용한 지도 수단이 될 수 있음을 보여준다.
• XGL를 구현하고 기존 인간 주도 및 기계 주도 기준과의 성능 평가를 위해 규칙 기반 구현인 hinter를 개발하였다.
• 이 방법은 최적화되지 않은 사용자와 민감한 사용자 모두를 지원하며, 감독자가 항상 가장 정보성 있는 예시를 선택하지 않더라도 강력한 성능을 유지한다.

실험 결과

연구 질문

• RQ1 모델에 알려지지 않은 알려지지 않은 사례가 존재하는 상황에서도 전역적 해석이 인간 감독자가 정보성 있는 예시를 선택하는 데 효과적으로 기여할 수 있는가?
• RQ2 모델 품질과 서사 편향에 대한 내성적 저항성 측면에서 XGL은 기계 주도 및 인간 주도 상호작용 학습 전략과 비교해 어떻게 성과를 내는가?
• RQ3 전역적 해석과 상호작용 기계학습 사이의 이론적 관계는 무엇이며, 이는 효과적인 감독 설계를 뒷받침하는 데 어떻게 기여하는가?
• RQ4 감독자가 예시 선택에서 주의를 기울이지 않거나 최적의 선택을 하지 못할 경우 XGL의 성능는 어느 정도 유지되는가?
• RQ5 지역적 해석이 가려낼 수 있는 체계적 모델 결함을 전역적 해석이 감독자가 식별하고 수정하는 데 도움이 될 수 있는가?

주요 결과

• XGL는 알려지지 않은 알려지지 않은 영역에서 모델의 진정한 성능을 잘못 표현할 수 있는 국소적 해석에 대한 과도한 의존을 피함으로써 서사 편향을 크게 감소시킨다.
• 합성 및 실제 데이터셋에서 XGL는 기계 주도 및 인간 주도 상호작용 학습 전략과 비교해 동등하거나 더 뛰어난 모델 품질을 달성한다.
• 잡음이 있거나 최적화되지 않은 감독자와 함께 사용하더라도 XGL는 강력한 성능을 유지하며, 특히 감독자가 적어도 50퍼센트 이상의 정보성 오류를 선택할 경우 성능이 높아진다.
• 규칙 선택 기준의 임계값을 한 수준 낮추더라도 XGL의 성능은 안정적으로 유지되며, 이는 감독자의 주의 수준 변화에 대한 내성적 저항성을 보여준다.
• 전역적 해석은 감독자가 해석 가능한 규칙(예: 간염 데이터셋에서의 규칙)을 식별하고 검증하는 데 도움을 주어 실제 응용 분야에서의 실용성을 입증한다.
• 상호작용 기계학습과의 이론적 연결은 전역적 해석이 고품질 학습 세트 구성에 효과적인 지도 수단임을 확인한다.