[논문 리뷰] Less is Better: Recovering Intended-Feature Subspace to Robustify NLU Models

Ting Wu, Tao Gui|arXiv (Cornell University)|2022. 09. 16.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 편향 주석 없이도 편향을 제거하는 RISK라는 지식 기반 탈편향 프레임워크를 제안한다. RISK는 잠재 공간 내에서 중복된 단서 특징을 제거하여 의도된 특징 부분공간을 복원함으로써, 편향 주석에 의존하지 않고도 강건한 일반화를 가능하게 한다. RISK는 여러 NLU 작업에서 최고 성능을 기록하며, 분포 외 및 적대적 벤치마크에서 기존 방법들을 능가한다. 이는 가장 정보성 있는 공통 특징만을 포착하는 저차원, 기하학적 중앙값 기반 부분공간을 학습하기 때문이다.

ABSTRACT

Datasets with significant proportions of bias present threats for training a trustworthy model on NLU tasks. Despite yielding great progress, current debiasing methods impose excessive reliance on the knowledge of bias attributes. Definition of the attributes, however, is elusive and varies across different datasets. Furthermore, leveraging these attributes at input level to bias mitigation may leave a gap between intrinsic properties and the underlying decision rule. To narrow down this gap and liberate the supervision on bias, we suggest extending bias mitigation into feature space. Therefore, a novel model, Recovering Intended-Feature Subspace with Knowledge-Free (RISK) is developed. Assuming that shortcut features caused by various biases are unintended for prediction, RISK views them as redundant features. When delving into a lower manifold to remove redundancies, RISK reveals that an extremely low-dimensional subspace with intended features can robustly represent the highly biased dataset. Empirical results demonstrate our model can consistently improve model generalization to out-of-distribution set, and achieves a new state-of-the-art performance.

연구 동기 및 목표

• 기존 탈편향 방법들이 비용이 많이 들고 데이터세트에 특화된 편향 주석에 크게 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 입력 수준의 편향 감시와 모델 예측을 이끄는 내재된 의사결정 규칙 사이의 격차를 메우기 위해.
• 사전 정의된 편향 속성에 의존하는 것에서 벗어나 특징 공간에 초점을 맞춤으로써 탈편향을 해방시키기 위해.
• 잠재 공간 내 중복된 단서 특징을 제거하는 것이 모델 일반화를 강건하게 향상시킬 수 있는지 입증하기 위해.
• 편의성에 의존하지 않고, 종단간(end-to-end)으로 작동하는 데이터세트에 관계없는 방법을 개발하여 강건한 예측을 위한 저차원, 정보성 있는 특징 부분공간을 드러내기 위해.

제안 방법

• RISK는 회복 레이어를 갖춘 오토인코더 기반 아키텍처를 사용하여 특징을 더 낮은 차원의 다양체로 투영한다.
• 종단간 방식으로 의도된 특징 부분공간을 복원하기 위해 기하학적 중앙값 부분공간을 사용하여 직교 투영자를 학습한다.
• 편향에 의해 유도된 단서 특징을 중복된 특징으로 간주하고, 부분공간 투영을 통해 제거한다.
• 편향이 있는 예와 편향이 없는 예 모두에서 가장 정보성 있고 공통적인 특징을 유지하기 위해 기하학적 중앙값 부분공간을 계산한다.
• 모델은 편향 속성 감시 없이도 오직 특징 수준의 중복 감소에 의존하여 훈련된다.
• 회복된 저차원 부분공간은 후행 분류 작업에 사용되며, 분포 이탈에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 명시적인 편향 주석 없이도 NLU 모델의 데이터세트 편향을 완화할 수 있는가?
• RQ2 잠재 공간 내 중복된 단서 특징을 식별하고 제거함으로써 모델의 강건성을 향상시킬 수 있는가?
• RQ3 저차원, 기하학적 중앙값 기반 특징 부분공간이 강건한 예측을 위해 필요한 핵심 의미를 포착할 수 있는가?
• RQ4 지식 기반의 특징 공간 기반 접근 방식이 분포 외 및 적대적 테스트 세트로 더 잘 일반화되는가?
• RQ5 특징 공간 내 중복 제거 방식이 입력 수준 또는 감시 기반 탈편향 방법과 비교해 어떻게 다를 수 있는가?

주요 결과

• RISK는 편향 속성 감시를 전혀 사용하지 않으며, 세 가지 NLU 작업에서 최고 성능을 기록한다.
• 분포 외 테스트 세트에서 일관되게 일반화 성능을 향상시켜 분포 이탈에 대한 강건성을 입증한다.
• 적대적 테스트 세트에서 기존 탈편향 방법들을 능가하여, 변형에 대한 강력한 강건성을 나타낸다.
• 회복된 저차원 부분공간은 의도된 특징을 효과적으로 포착하여, '적은 것이 좋다'는 원칙이 특징 표현에서 성립함을 증명한다.
• 기하학적 중앙값 부분공간 투영은 중복된 단서 특징을 성공적으로 제거하면서도 예측 의미를 유지한다.
• 이 방법은 데이터세트에 관계없고, 다양한 NLU 벤치마크에서 재학습이나 편향 전용 튜닝 없이도 잘 일반화된다.