[논문 리뷰] Diversify and Disambiguate: Learning From Underspecified Data

Yoonho Lee, Huaxiu Yao외 1명|arXiv (Cornell University)|2022. 02. 07.

Machine Learning and Data Classification인용 수 4

한 줄 요약

DivDis는 두 단계 프레임워크로, 먼저 공유 백본에 여러 헤드를 적용하여 레이블이 없는 타겟 데이터에서 서로 다른 가설을 학습함으로써 부족한 정보의 데이터에서 다양성을 확보하고, 이후 최소한의 타겟 레이블을 사용해 가장 적절한 함수를 선택함으로써 해석을 명확히 한다. Waterbirds 벤치마크에서 worst-group 정확도가 15% 이상 향상되었고, Camelyon17에서 준지도 학습 방법을 초월하여 심각한 분포 이탈과 정보 부족 상황에서도 강건성을 입증한다.

ABSTRACT

Many datasets are underspecified: there exist multiple equally viable solutions to a given task. Underspecification can be problematic for methods that learn a single hypothesis because different functions that achieve low training loss can focus on different predictive features and thus produce widely varying predictions on out-of-distribution data. We propose DivDis, a simple two-stage framework that first learns a diverse collection of hypotheses for a task by leveraging unlabeled data from the test distribution. We then disambiguate by selecting one of the discovered hypotheses using minimal additional supervision, in the form of additional labels or inspection of function visualization. We demonstrate the ability of DivDis to find hypotheses that use robust features in image classification and natural language processing problems with underspecification.

연구 동기 및 목표

• 학습 데이터가 정보가 제한되어 있어 데이터를 설명할 수 있는 다수의 타당한 가설이 존재하는 분포 이탈 문제를 다루는 것.
• 표준 ERM 및 강건성 방법이 다수의 타당한 설명이 존재할 때에도 유일한 함수만 선택하는 데서 비롯되는 한계를 극복하는 것.
• 서브집단 이탈 및 도메인 일반화 상황에서, 가장 적절한 함수를 선택하기 이전에 다양하고 상호보완적인 가설을 발견함으로써 일반화 성능을 향상시키는 것.
• 레이블이 거의 없는 타겟 도메인에 대해, 레이블이 없는 데이터에서의 불일치를 활용해 최소한의 레이블로도 샘플 효율적인 적응을 가능하게 하는 것.
• 임의의 허구적 속성 주석이 필요 없이 의미 있는 분리된 특징을 자동으로 발견할 수 있는 확장 가능한 종단 간 프레임워크를 제공하는 것.

제안 방법

• DivDis는 공유 백본을 가진 다중 헤드 신경망을 사용하며, 각 헤드는 서로 다른 가설을 나타낸다.
• Diversify 단계에서는, 레이블이 있는 데이터에서 소스 손실을 최소화하면서도, 레이블이 없는 타겟 데이터에서 예측의 다양성을 유도한다.
• 다양성은 타겟 데이터에서 헤드 간 예측 불일치를 최대화하는 불일치 손실을 통해 강제로 구현되며, 이는 대안적 함수 탐색을 촉진한다.
• Disambiguate 단계에서는, 타겟 데이터의 소량의 정보성 레이블을 기반으로 불확실성 또는 불일치 지표를 활용해 가장 적절한 헤드를 선택한다.
• 이 프레임워크는 두 단계로 운영된다: 먼저 타겟 레이블 없이 다양한 가설을 탐색하고, 이후 최소한의 지도 학습을 통해 모호성을 해소한다.
• 이 방법은 대규모 비전 및 텍스트 벤치마크로도 확장 가능하며, 허구적 특징이나 인과적 구조에 대한 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 정보가 제한된 데이터에서 다수의 타당한 가설을 탐색할 수 있는 학습 프레임워크는 분포 이탈 상황에서 강건성을 향상시킬 수 있는가?
• RQ2 레이블이 없는 타겟 데이터에 의존하지 않고도 학습 과정에서 가설 간 다양성을 효과적으로 유도할 수 있는가?
• RQ3 여러 가설이 존재할 경우, 최소한의 타겟 레이블이 성능 향상에 얼마나 기여하는가?
• RQ4 높은 수준의 정보 부족 상황에서, 기존의 표준 ERM 및 강건성 방법보다 이 프레임워크가 우월한가?
• RQ5 명시적 지도 학습 없이도 자동으로 상호보완적이고 분리된 특징을 식별하고 활용할 수 있는가?

주요 결과

• DivDis는 허구적 속성 주석을 전혀 사용하지 않고도 Waterbirds 벤치마크에서 worst-group 정확도가 15% 이상 향상되었다.
• Camelyon17 데이터셋에서 DivDis는 도메인 이탈 상황에서 기존 준지도 학습 방법을 능가했다.
• 타겟 도메인 레이블이 단 4개일 때도, 완전히 상관관계가 있는 허구적 속성 설정에서 128개의 레이블을 사용하는 피니팅 베이스라인을 뛰어넘었다.
• 이 방법은 이미지 및 텍스트 작업의 시각화 결과를 통해 의미 있는 상호보완적 특징을 자동으로 발견함을 보여주었다.
• DivDis는 ImageNet 및 텍스트 분류를 포함한 대규모 벤치마크로도 효과적으로 확장되며, 다양한 분포 이탈 설정에서 강력한 성능을 유지한다.
• 이 프레임워크는 가설 간 다양성과 최소한의 해석을 조합함으로써 단일 함수 기반 모델보다 훨씬 뛰어난 강건성을 확보함을 입증했다.