[논문 리뷰] DABS: A Domain-Agnostic Benchmark for Self-Supervised Learning

Alex Tamkin, Vincent Liu외 4명|arXiv (Cornell University)|2021. 11. 23.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

DABS는 일관된 SSL 알고리즘을 모든 분야에 적용하여 영상, 텍스트, 음성, 의료 X레이, 센서 데이터, 다국어 텍스트, 시각-언어 등 7개의 다양한 도메인에서 자기지도학습(SSL) 모델을 평가하는 도메인 무관 기준 평가 기준을 도입한다. 이 기준은 심지어 최첨단 도메인 무관 방법인 e-Mix와 ShED로 하더라도 성능이 균일하지 않음을 드러내며, SSL이 다양한 도메인에서 즉시 사용 가능한 솔루션으로 자리잡기 전에 향후 개선 여지가 크다는 것을 시사한다.

ABSTRACT

Self-supervised learning algorithms, including BERT and SimCLR, have enabled significant strides in fields like natural language processing, computer vision, and speech processing. However, these algorithms are domain-specific, meaning that new self-supervised learning algorithms must be developed for each new setting, including myriad healthcare, scientific, and multimodal domains. To catalyze progress toward domain-agnostic methods, we introduce DABS: a Domain-Agnostic Benchmark for Self-supervised learning. To perform well on DABS, an algorithm is evaluated on seven diverse domains: natural images, multichannel sensor data, English text, speech recordings, multilingual text, chest x-rays, and images with text descriptions. Each domain contains an unlabeled dataset for pretraining; the model is then is scored based on its downstream performance on a set of labeled tasks in the domain. We also present e-Mix and ShED: two baseline domain-agnostic algorithms; their relatively modest performance demonstrates that significant progress is needed before self-supervised learning is an out-of-the-box solution for arbitrary domains. Code for benchmark datasets and baseline algorithms is available at https://github.com/alextamkin/dabs.

연구 동기 및 목표

• 다양한 데이터 모odal리티 간에 표준화된 평가가 부족한 도메인 무관 자기지도학습(SSL)에 대응하기 위해.
• 도메인 특화 조정 없이 다양한 도메인 간에 일반화되는 SSL 알고리즘 개발을 촉진하기 위해.
• 의료 및 과학 연구와 같은 자원이 제한된 도메인의 접근 장벽을 낮추기 위해 즉시 사용 가능한 SSL 응용을 가능하게 하기 위해.
• 다양한 모달리티를 통합적으로 평가함으로써 개별 모달리티를 초월하는 SSL의 근본 원리를 밝혀내기 위해.
• 다양한 도메인 간 SSL 연구를 위한 공통의 기준 평가 기반 인fra를 제공하기 위해 표준화된 데이터셋, 전처리 및 평가 프로토콜을 제공하기 위해.

제안 방법

• DABS는 자연 영상, 영어 텍스트, 음성, 다국어 텍스트, 흉부 X레이, 다중채널 센서 데이터, 시각-언어 이미지-텍스트 쌍 등 7개의 서로 다른 도메인을 포함하는 기준 평가 기준을 구성한다.
• 각 도메인에 대해 단일의 레이블 없는 데이터셋을 사용하여 동일한 SSL 목표를 통해 모델을 사전학습시키며, 후속 작업은 레이블이 있는 데이터를 사용하여 전이 성능을 평가한다.
• 기준 평가 기준은 모든 후속 작업에 걸쳐 평균 정확도 또는 AUROC를 통해 모델 성능을 평가하여, 도메인 간에 모델 아키텍처와 전이 방법의 일관성을 확보한다.
• 저자들은 일반적인 데이터 증강 및 대비 학습 원리를 다양한 모달리티에 적용하는 두 가지 도메인 무관 SSL 알고리즘인 e-Mix와 ShED를 도입한다.
• 기준 평가 기준은 도메인 별로 표준화된 전처리 파이프라인과 평가 지표를 사용하여 다양한 모달리티 간의 공정한 비교를 가능하게 한다.
• 코드와 데이터셋은 공개되어 있어 재현성과 커뮤니티의 도입을 보장한다.

실험 결과

연구 질문

• RQ1 도메인 특화 조정 없이도 서로 다른 여러 도메인에서 강력한 성능을 내는 단일 자기지도학습 알고리즘이 가능한가?
• RQ2 다양한 모달리티에서 도메인 무관 SSL 방법이 무작위 초기화 및 도메인 특화 기준보다 어떻게 비교되는가?
• RQ3 SSL의 어떤 요소들이 모달리티를 초월해 일반화되고, 어떤 요소들이 전이되지 못하는가?
• RQ4 이미지, 텍스트, 음성과 같은 다양한 데이터 유형 간에 기존의 SSL 기법들, 예를 들어 데이터 증강과 대비 학습이 어느 정도 일반화되는가?
• RQ5 현재의 도메인 무관 SSL 접근법의 성능 상한선는 무엇이며, 어디에서 실패하는가?

주요 결과

• 사전학습 없이도 평균 39.6%의 후속 작업 성능을 기록하는 기준 모델이 모든 도메인에서 강력한 제로샷 기준이 된다.
• e-Mix와 ShED는 모든 도메인에서 사전학습 없이 기준을 초월하며, e-Mix는 영어 텍스트 작업에서 평균 정확도 43.1%를 기록했고, ShED는 RTE 텍스트 작업에서 52.7%를 달성했다.
• 성능 향상은 균일하지 않다: ShED는 PAMAP2 센서 데이터에서 88.69%의 정확도를 기록했지만, Fluent Speech Actions에서는 단지 30.53%에 그쳤다. 이는 모달리티에 특화된 실패 원인을 시사한다.
• 의료 영상 분야에서는 ShED가 CheXpert의 AUROC를 사전학습 없이 68.14%에서 74.50%로 향상시켜, 높은 영향력을 가진 분야에서의 잠재력을 보여주었다.
• 성능이 가장 뛰어난 방법인 ShED는 PAWS-X 스페인어에서 63.65%의 정확도를 기록했지만, 일본어에서는 52.00%에 그쳐 언어에 특화된 제한이 여전히 존재함을 시사한다.
• 어느 한 방법도 모든 도메인에서 다른 방법들을 일관되게 능가하지는 않아, 강력하고 진정으로 도메인 무관인 SSL 솔루션의 부족함을 드러낸다.