[논문 리뷰] Weakly Supervised Multi-task Learning for Concept-based Explainability

Catarina Belém, Vladimir Balayan외 2명|arXiv (Cornell University)|2021. 04. 26.

Machine Learning and Data Classification참고 문헌 14인용 수 5

한 줄 요약

이 논문은 실세계의 기계학습 응용 프로그램에서의 개념 레이블 부족 문제를 해결하기 위해, 전문가 규칙에서 유도된 노이즈가 섞인 개념 레이블과 소량의 골드 레이블을 활용하여 사기 탐지와 개념 기반 설명 가능성의 공동 향상을 위한 약한 감독 다중 작업 학습 프레임워크를 제안한다. 두 단계 및 하이브리드 학습 전략을 조합함으로써, 설명 가능성에 약간의 희생을 감수하면서도 결론 작업 성능을 417.8% 향상시켰으며, 이는 레이블 부족 조건 하에서 효과적인 공동 학습을 보여준다.

ABSTRACT

In ML-aided decision-making tasks, such as fraud detection or medical diagnosis, the human-in-the-loop, usually a domain-expert without technical ML knowledge, prefers high-level concept-based explanations instead of low-level explanations based on model features. To obtain faithful concept-based explanations, we leverage multi-task learning to train a neural network that jointly learns to predict a decision task based on the predictions of a precedent explainability task (i.e., multi-label concepts). There are two main challenges to overcome: concept label scarcity and the joint learning. To address both, we propose to: i) use expert rules to generate a large dataset of noisy concept labels, and ii) apply two distinct multi-task learning strategies combining noisy and golden labels. We compare these strategies with a fully supervised approach in a real-world fraud detection application with few golden labels available for the explainability task. With improvements of 9.26% and of 417.8% at the explainability and decision tasks, respectively, our results show it is possible to improve performance at both tasks by combining labels of heterogeneous quality.

연구 동기 및 목표

• 실세계 기계학습 응용 프로그램에서 개념 기반 설명 가능성의 개념 레이블 부족 문제를 해결하기 위해.
• 노이즈가 섞인 레이블과 골드 레이블이라는 이질적인 품질의 레이블을 사용하여 결론 및 설명 가능성 작업의 공동 학습을 가능하게 하기 위해.
• 약한 감독과 제한된 골드 레이블을 효과적으로 조합하는 다중 작업 학습 전략을 개발하고 평가하기 위해.
• 골드 레이블이 부족한 저자원 환경에서 모델 성능을 향상시키기 위해.
• 규칙에서 유도된 노이즈 레이블이 설명 가능성과 결론 작업 성능을 동시에 향상시킬 수 있는지 경험적으로 검증하기 위해.

제안 방법

• 실세계 전자상거래 사기 탐지 데이터셋의 수백만 건의 인스턴스에 대해, 사전 구현된 전문가 규칙을 활용하여 자동으로 노이즈가 섞인 개념 레이블을 생성한다.
• 결론 작업과 설명 가능성 작업에 대해 공유된 초기 레이어와 작업별 출력 헤드를 갖춘 하드 파rameter 공유 신경망 아키텍처를 사용한다.
• 두 가지 다중 작업 학습 전략을 제안한다: 두 단계 학습(노이즈 레이블로 사전 학습, 골드 또는 하이브리드 배치로 미세 조정)과 하이브리드 학습(혼합 골드/노이즈 배치로 전용 학습).
• 다중 레이블 설명 가능성 예측에서의 클래스 불균형을 다루기 위해 클래스 균형 잡힌 샘플링과 포칼 손실을 적용한다.
• 두 단계 학습에서 커리큘럼 학습 접근법을 적용하여, 높은 신뢰도의 노이즈 예측으로부터 학습을 시작함으로써 학습 안정성을 향상시킨다.
• 학습률, 손실 가중치, 배치 구성 등 하이퍼파ram터를 조정하여 작업 간 트레이드오프를 최적화한다.

실험 결과

연구 질문

• RQ1 전문가 규칙에서 유도된 노이즈가 섞인 개념 레이블이 결론 및 설명 가능성 작업의 공동 학습을 효과적으로 향상시킬 수 있는가?
• RQ2 노이즈 및 골드 레이블을 조합할 때, 두 단계 학습과 하이브리드 학습 전략 간 성능 비교는 어떻게 되는가?
• RQ3 약한 감독이 부족한 골드 레이블에 의존도를 줄이되, 결론 작업 성능을 저하시키지 않도록 할 수 있는 정도는 어느 정도인가?
• RQ4 혼합 품질의 레이블을 사용할 때, 설명 가능성과 결론 성능 간 최적의 트레이드오프는 무엇인가?
• RQ5 이질적인 레이블 신호를 활용한 공동 학습이 오직 골드 레이블만을 사용하는 완전한 감독 학습보다 더 우수한 일반화 성능을 보일 수 있는가?

주요 결과

• 두 단계 학습 전략은 오직 842개의 골드 레이블 인스턴스만을 사용한 완전한 감독 기반 베이스라인 대비 결론 작업 성능을 417.8% 향상시켰다.
• 두 단계 전략은 기준 대비 설명 가능성 성능도 9.26% 향상시켜, 두 작업 모두에서 동시 향상을 입증했다.
• 하이브리드 학습 전략는 일관된 성능 트레이드오프를 보였지만, 어느 한 작업에서도 두 단계 접근보다 성능이 뛰어나지 않았다.
• 대규모 노이즈 레이블에 기반한 약한 감독으로 학습된 모델는 오직 소량의 골드 레이블 데이터셋으로만 학습된 모델보다 훨씬 우수한 일반화 성능을 보였다.
• 최고의 성능을 보인 모델는 두 단계 전략을 사용하고, 미세 조정 단계에서 순수 골드 배치를 활용했으며, 설명 가능성과 결론 작업 양쪽에서 높은 성능을 달성하여 최적의 트레이드오프를 나타냈다.
• 결과는 다중 작업 학습을 통해 노이즈 및 골드 레이블을 조합하는 것이, 골드 레이블이 제한된 상황에서도 효과적이고 확장 가능한 방법임을 확인시켰다.