[論文レビュー] DABS: A Domain-Agnostic Benchmark for Self-Supervised Learning

Alex Tamkin, Vincent Liu+4 more|arXiv (Cornell University)|Nov 23, 2021

Speech Recognition and Synthesis被引用数 6

ひとこと要約

DABSは、画像、テキスト、音声、医療レントゲン、センサデータ、多言語テキスト、ビジョン・ランゲージの7つの多様なドメインをカバーするドメインに依存しない自己教師あり学習（SSL）のベンチマークを導入している。すべてのドメインで同一のSSLアルゴリズムを用いて評価しており、最新のドメインに依存しない手法（e-Mix や ShED でさえも）性能にばらつきが見られることから、SSLがドメインを問わず即座に利用可能になるまでには大きな改善の余地があることが示された。

ABSTRACT

Self-supervised learning algorithms, including BERT and SimCLR, have enabled significant strides in fields like natural language processing, computer vision, and speech processing. However, these algorithms are domain-specific, meaning that new self-supervised learning algorithms must be developed for each new setting, including myriad healthcare, scientific, and multimodal domains. To catalyze progress toward domain-agnostic methods, we introduce DABS: a Domain-Agnostic Benchmark for Self-supervised learning. To perform well on DABS, an algorithm is evaluated on seven diverse domains: natural images, multichannel sensor data, English text, speech recordings, multilingual text, chest x-rays, and images with text descriptions. Each domain contains an unlabeled dataset for pretraining; the model is then is scored based on its downstream performance on a set of labeled tasks in the domain. We also present e-Mix and ShED: two baseline domain-agnostic algorithms; their relatively modest performance demonstrates that significant progress is needed before self-supervised learning is an out-of-the-box solution for arbitrary domains. Code for benchmark datasets and baseline algorithms is available at https://github.com/alextamkin/dabs.

研究の動機と目的

• 異なるデータモダリティにおけるドメインに依存しない自己教師あり学習（SSL）の標準化された評価の欠如に対処すること。
• ドメイン固有のチューニングを必要とせずにドメインを越えて一般化するSSLアルゴリズムの開発を促進すること。
• 医療や科学的リサーチなどリソースが限られたドメインへのアクセスを容易にするために、即時利用可能なSSLアプリケーションを可能にすること。
• 複数のドメインにわたる一貫した評価を通じて、個々のモダリティを超えて成り立つSSLの根本的原則を明らかにすること。
• ドメイン間SSL研究のための共通のベンチマークインfraを提供し、標準化されたデータセット、前処理、評価プロトコルを整えること。

提案手法

• DABSは、自然画像、英語テキスト、音声、多言語テキスト、チストレントゲン、マルチチャネルセンサデータ、ビジョン・ランゲージの画像・テキストペアという7つの異なるドメインを含むベンチマークを構築している。
• 各ドメインについて、一括したSSL目的関数を用いて同じラベルなしデータセットでモデルを事前学習し、下流タスクではラベル付きデータを用いて転移性能を評価する。
• ベンチマークは、すべての下流タスクにおける平均正解率またはAUROCを通じてモデル性能を評価し、ドメイン間でモデルアーキテクチャと転移手法の一貫性を保証している。
• 著者らは、一般化されたデータ拡張とコントラスト学習の原則をモダリティを越えて適用する2つのドメインに依存しないSSLアルゴリズム、e-Mix と ShED を導入している。
• ベンチマークは、ドメインごとに標準化された前処理パイプラインと評価指標を用いており、モダリティ間での公正な比較を可能としている。
• コードとデータセットは公開されており、再現性とコミュニティによる採用を確保している。

実験結果

リサーチクエスチョン

• RQ1 同一の自己教師あり学習アルゴリズムが、ドメイン固有の適応なしに、多様で関係のないドメインすべてで高い性能を発揮できるか？
• RQ2 ドメインに依存しないSSL手法は、複数のモダリティにわたり、ランダム初期化やドメイン固有のベースラインと比較してどのように差をつけるか？
• RQ3 SSLのどの要素がモダリティを越えて一般化され、どの要素が転送に失敗するか？
• RQ4 画像、テキスト、音声のような異なるデータタイプにわたって、データ拡張やコントラスト学習といった既存のSSL技術がどの程度一般化できるか？
• RQ5 現在のドメインに依存しないSSLアプローチの性能の上限はどこにあり、どこで失敗するのか？

主な発見

• 事前学習なしのベースラインモデルは、全ドメインで平均39.6%の下流性能を示し、強力なゼロショットベースラインとして機能している。
• e-Mix と ShED は、全ドメインで事前学習なしのベースラインを上回っており、e-Mix は英語テキストタスクで平均43.1%の正解率を達成、ShED は RTE テキストタスクで52.7%を記録した。
• 性能向上は著しく不均一である：ShED は PAMAP2 センサデータで88.69%の正解率を達成したが、Fluent Speech actions では30.53%にとどまり、モダリティ固有の失敗モードが顕在化している。
• 医療画像分野では、ShED が CheXpert の AUROC を、事前学習なしの68.14%から74.50%へ向上させ、高影響分野での応用可能性を示した。
• 最高性能を示した手法である ShED は、PAWS-X スペイン語タスクで63.65%の正解率を達成したが、日本語タスクでは52.00%にとどまり、言語固有の制限が依然として存在していることが示された。
• どの手法も全ドメインで一貫して他を上回るとは限らず、強力で真にドメインに依存しないSSLソリューションの欠如が浮き彫りになった。