[논문 리뷰] Refining Language Models with Compositional Explanations

Huihan Yao, Ying Chen외 3명|arXiv (Cornell University)|2021. 03. 18.

Topic Modeling참고 문헌 59인용 수 17

한 줄 요약

이 논문은 편향된 패턴을 줄이고 공정성을 향상시키기 위해 인간이 제공한 복합적 설명을 사용하여 사전 훈련된 언어 모델을 개선하는 Remote라는 프레임워크를 제안한다. 설명을 실행 가능한 논리 규칙으로 파싱하고, 이를 비라벨 데이터로 일반화함으로써 Remote는 정규화 커버리지와 기능 기여도 및 상호작용을 모두 포함하여 향상된 성능과 감소된 편향을 이룬다. 혐오 발언 및 감성 분류 작업에서 성능 향상이 이루어졌다.

ABSTRACT

Pre-trained language models have been successful on text classification tasks, but are prone to learning spurious correlations from biased datasets, and are thus vulnerable when making inferences in a new domain. Prior work reveals such spurious patterns via post-hoc explanation algorithms which compute the importance of input features. Further, the model is regularized to align the importance scores with human knowledge, so that the unintended model behaviors are eliminated. However, such a regularization technique lacks flexibility and coverage, since only importance scores towards a pre-defined list of features are adjusted, while more complex human knowledge such as feature interaction and pattern generalization can hardly be incorporated. In this work, we propose to refine a learned language model for a target domain by collecting human-provided compositional explanations regarding observed biases. By parsing these explanations into executable logic rules, the human-specified refinement advice from a small set of explanations can be generalized to more training examples. We additionally introduce a regularization term allowing adjustments for both importance and interaction of features to better rectify model behavior. We demonstrate the effectiveness of the proposed approach on two text classification tasks by showing improved performance in target domain as well as improved model fairness after refinement.

연구 동기 및 목표

• 복잡한 인간 피드백을 포괄하지 못하는 기존 정규화 방법의 커버리지와 표현력의 한계를 해결하기 위해.
• 저자원 또는 도메인 외부 설정에서 모델의 강건성과 공정성을 향상시키기 위해 인간이 제공한 복합적 설명을 사용해 모델를 개선하기 위해.
• 소규모 예시 집합에서 인간 레이블 피드백을 목표 도메인의 더 넓은 비라벨 인스턴스 집합으로 일반화하기 위해.
• 개별 기능 기여도를 넘어서 기능 상호작용까지 포함하여 정규화를 확장함으로써 인간 피드백의 표현력을 높이기 위해.
• 상游 훈련 데이터에 접근할 필요 없이 효율적이고 침습적이지 않은 모델 개선을 가능하게 하기 위해.

제안 방법

• 후행 해석 히트맵에서 편향된 패턴, 즉 기능 기여도와 상호작용을 식별하는 인간 제공 복합적 설명을 수집한다.
• 기능 중요도와 상호작용 제약 조건을 모두 인코딩한 실행 가능한 일阶 논리 규칙으로 이러한 설명을 파싱한다.
• 부드러운 원자 연산을 사용하여 목표 도메인의 비라벨 인스턴스로 논리 규칙을 일반화하여 노이즈가 있지만 정보가 풍부한 지도 신호를 생성한다.
• 미세조정 중 기능 기여도와 기능 상호작용을 동시에 최적화하기 위한 미분 가능한 정규화 항을 도입한다.
• 비라벨 문장에서 관련 표현을 소프트 매칭 메커니즘을 사용해 식별하고, 일반화된 논리 규칙에 기반해 타겟 점수를 할당한다.
• 표준 크로스 엔트로피와 일반화된 인간 피드백에 기반한 정규화 항을 포함하는 병합 손실로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 간단한 기능 기여도를 넘어서는 복합적 인간 설명이 언어 모델 미세조정의 일반화성과 강건성을 향상시키는가?
• RQ2 비라벨 데이터로 인간 피드백을 규칙 기반으로 일반화하는 것이 도메인 외부 텍스트 분류에서 모델 성능 향상에 얼마나 효과적인가?
• RQ3 정규화 과정에 기능 상호작용을 통합할 경우 기여도 전용 방법보다 더 나은 편향된 상관관계 완화를 이룰 수 있는가?
• RQ4 정규화 항의 강도에 따라 모델 개선 성능가 얼마나 민감한가?
• RQ5 상游 훈련 데이터에 접근하지 못하는 상황에서도 이 프레임워크가 의도하지 않은 편향을 줄일 수 있는가?

주요 결과

• Remote는 원본 모델의 성능을 목표 도메인에서 향상시켜, HatEval → GHC 혐오 발언 분류 작업에서 직접 전이 대비 45.7%의 F1을 달성했다.
• 기여도와 상호작용 정규화의 조합(Reg. with a.&i.)이 가장 뛰어난 성능을 보였으며, 45.7%의 F1을 기록하고 편향을 감소시켰다. 기여도 또는 상호작용만 정규화하는 방법보다 뛰어났다.
• 정규화 강도에 대해 높은 내성성을 보였으며, α ∈ [0.003, 0.03] 범위의 다양한 초모수 값에서도 성능이 안정적이었다.
• 오직 혐오 레이블이 부여된 규칙을 사용한 정규화가 비혐오 레이블이 부여된 규칙을 사용하는 것보다 성능이 뛰어나, 유해 패턴에 집중할 경우 더 나은 모델 개선이 이뤄진다.
• 소프트 정규화 손실을 사용할 경우 반복당 시간 비용이 약 50초 증가했지만, 각 인스턴스당 몇 개의 표현에만 희박하게 점수를 매기므로 여전히 관리 가능했다.
• 낮은 자원 환경에서 특히 낮은 공정성 위반과 향상된 일반화를 확인함으로써, 이 방법은 의도하지 않은 편향을 크게 감소시켰다.