[논문 리뷰] A Game Theoretic Approach to Class-wise Selective Rationalization

Shiyu Chang, Shuicheng Yan외 2명|arXiv (Cornell University)|2019. 10. 28.

Explainable Artificial Intelligence (XAI)인용 수 42

한 줄 요약

Class-wise Adversarial Rationalization(Car) 소개, 사실적 및 대항적 합리화 생성기와 판별기가 포함된 게임 이론 프레임워크로 텍스트 분류에 대한 클래스 인식 설명을 생성합니다.

ABSTRACT

Selection of input features such as relevant pieces of text has become a common technique of highlighting how complex neural predictors operate. The selection can be optimized post-hoc for trained models or incorporated directly into the method itself (self-explaining). However, an overall selection does not properly capture the multi-faceted nature of useful rationales such as pros and cons for decisions. To this end, we propose a new game theoretic approach to class-dependent rationalization, where the method is specifically trained to highlight evidence supporting alternative conclusions. Each class involves three players set up competitively to find evidence for factual and counterfactual scenarios. We show theoretically in a simplified scenario how the game drives the solution towards meaningful class-dependent rationales. We evaluate the method in single- and multi-aspect sentiment classification tasks and demonstrate that the proposed method is able to identify both factual (justifying the ground truth label) and counterfactual (countering the ground truth label) rationales consistent with human rationalization. The code for our method is publicly available.

연구 동기 및 목표

• 다양한 결과를 지지하는 다면적 합리화의 필요성을 단일의 전반적 설명보다 강조한다.
• 주어진 클래스에 대해 반대사실을 포함하여 증거를 제공하는 클래스 의존적 합리화 프레임워크를 제안한다.
• 사실적 및 대항적 합리화 생성기와 판별기가 있는 적대적 Car 시스템을 개발하여 클래스별 설명을 최적화한다.
• 단순화된 설정에서 Car의 정보 이론적 속성을 이론적으로 분석한다.
• 사람의 합리화와의 정렬성을 평가하기 위해 단일 및 다중 측면 감정 분석에서 Car를 경험적으로 평가한다.]
• method：
• Formulate class-wise rationalization as an adversarial game with six players: two factual rationale generators, two counterfactual rationale generators, and two discriminators (one per class).
• Use a shared-parameter architecture where generators for each class share a single network and discriminators share parameters, with class information as input.
• impose sparsity and continuity constraints on selected rationales to ensure concise, coherent explanations.
• Frame the objective as a class-wise mutual information problem, related to f-divergence, to drive the generators toward meaningful, class-specific rationales.
• Provide an information-theoretic analysis showing optimal strategies under independence assumptions (bag-of-words model).
• Describe training via alternating stochastic gradient updates with straight-through gradient estimates for discrete rationale masks.

제안 방법

• 클래스별 합리화를 여섯 명의 플레이어가 참여하는 적대적 게임으로 형식화한다: 두 개의 사실적 합리화 생성기, 두 개의 대항적 합리화 생성기, 그리고 두 개의 판별기(클래스당 하나).
• 각 클래스의 생성기가 단일 네트워크를 공유하고 판별기가 매개변수를 공유하는 공유 매개변수 아키텍처를 사용하며, 입력으로 클래스 정보를 사용한다.
• 선택된 합리화에 대해 희소성 및 연속성 제약을 부과하여 간결하고 일관된 설명을 보장한다.
• 목표를 클래스별 상호 정보 문제로 프레이밍하고, f-발산과 관련하여 생성기를 의미 있는 클래스 특이적 합리화로 이끈다.
• 독립 가정(가방-오브-워드 모델) 하에서 최적 전략을 보이는 정보 이론적 분석을 제공한다.
• 이산적인 합리화 마스크에 대한 스트레이트-스루 그래디언트 추정을 사용한 교대 확률적 그래디언트 업데이트를 통한 훈련을 기술한다.

실험 결과

연구 질문

• RQ1 클래스별 합리화가 사실적(정답) 및 대항적(대안) 클래스 모두에 대해 효과적으로 생성될 수 있는가?
• RQ2 적대적 클래스별 생성기와 판별기가 단일 및 다중 측면 감정 분석 작업에서 인간의 설명과 정렬되는 합리화를 도출하는가?
• RQ3 Car 프레임워크가 정보 이론적 관점에서 클래스별 상호 정보 목표와 어떤 관련이 있는가?
• RQ4 생성기와 판별기 간 매개변수 공유가 성능과 학습 안정성에 어떤 영향을 미치는가?
• RQ5 Car가 다른 생성기-예측자 합리화 프레임워크에서 나타나는 저하 문제를 완화할 수 있는가?

주요 결과

• Car는 Amazon 리뷰에서 희소성 제약 하에 사실적 합리화의 정밀도를 일관되게 향상시킨다.
• Car에 의해 생성된 대항적 합리화는 베이스라인보다 더 높은 정밀도를 달성하되 희소성은 경쟁적으로 유지된다.
• 다중 측면 데이터셋(맥주와 호텔)에서 Car는 대부분의 측면에서 사실적 합리화 중 최상 또는 근사 최상을 달성하며, 맥주에서 Appearance와 Palate, 호텔에서 여러 측면이 두드러진다.
• 주관적 인간 평가에서 Car의 합리화가 인간이 의도된 감정을 추론하도록 더 잘 속이며, 사실적 및 여러 대항적 사례에서 특히 그렇다.
• Car는 반정보를 단순히 비정보 신호를 흉내 내어 판별기를 속이려는 저하 현상을 견뎌내며 degeneration에 대한 저항성을 보인다.
• 공유 매개변수 구조가 모델 복잡성을 감소시키면서도 경쟁력 있는 성능을 유지한다.