[論文レビュー] Words are all you need? Language as an approximation for human similarity judgments

Raja Marjieh, Pol van Rijn+5 more|arXiv (Cornell University)|Jun 8, 2022

Machine Learning in Healthcare被引用数 8

ひとこと要約

本稿では、語彙埋め込み、共起性、TF-IDF などの言語ベースの手法を用いて、画像、音声、動画の各モダリティにおいて人間の類似性判断を近似し、高価な対比較の人間による判断の必要を著しく削減することを提案する。言語ベースのモデルが事前学習済み深層ニューラルネットワーク（DNN）を上回ることを示し、言語とDNN埋め込みを組み合わせたスタックドモデルが最も優れた性能を示す。再現可能性を図るため、206,339件の人的類似性判断を含む包括的なデータセットを公開した。

ABSTRACT

Human similarity judgments are a powerful supervision signal for machine learning applications based on techniques such as contrastive learning, information retrieval, and model alignment, but classical methods for collecting human similarity judgments are too expensive to be used at scale. Recent methods propose using pre-trained deep neural networks (DNNs) to approximate human similarity, but pre-trained DNNs may not be available for certain domains (e.g., medical images, low-resource languages) and their performance in approximating human similarity has not been extensively tested. We conducted an evaluation of 611 pre-trained models across three domains -- images, audio, video -- and found that there is a large gap in performance between human similarity judgments and pre-trained DNNs. To address this gap, we propose a new class of similarity approximation methods based on language. To collect the language data required by these new methods, we also developed and validated a novel adaptive tag collection pipeline. We find that our proposed language-based methods are significantly cheaper, in the number of human judgments, than classical methods, but still improve performance over the DNN-based methods. Finally, we also develop `stacked' methods that combine language embeddings with DNN embeddings, and find that these consistently provide the best approximations for human similarity across all three of our modalities. Based on the results of this comprehensive study, we provide a concise guide for researchers interested in collecting or approximating human similarity data. To accompany this guide, we also release all of the similarity and language data, a total of 206,339 human judgments, that we collected in our experiments, along with a detailed breakdown of all modeling results.

研究の動機と目的

• 人的類似性判断の収集コストを低減するため、刺激の数が増えると2乗的に増加する対比較的人的判断の高コスト問題に対処すること。
• 画像、音声、動画の各モダリティにおいて、611の事前学習済み深層ニューラルネットワーク（DNN）の埋め込みが人的類似性判断をどの程度近似できるかを評価すること。
• 言語記述子（タグとキャプション）を用いた低コストでスケーラブルな人的対比較判断の代替手法を開発・検証すること。
• 言語ベースの手法とDNNベースの近似手法を比較し、スタックドモデルによる統合による利点を評価すること。
• 206,339件の人的類似性判断と、すべてのモデリング結果を再現可能性と今後の研究を支援するため公開すること。

提案手法

• 画像、音声、動画の3つのモダリティで、合計206,339の刺激ペairに対してクラウドソーシングを用いて人的類似性判断を収集した。
• O(N²)ではなくO(N)のコストで実現可能な、適応的タグ収集パイプラインを開発し、各刺激に対してテキスト記述（タグとキャプション）を効率的に収集した。
• 複数の言語ベース類似性手法を適用：共起性、共起性-再現、ROUGE、BM25、TF-IDFとコサイン類似度、ストップワード除去およびレマタイゼーションを施したボックオブワード表現。
• すべてのモダリティで611のモデルの事前学習済みDNN埋め込みを評価し、人的類似性判断との相関をベンチマークした。
• スタックドモデルを用いて言語埋め込みとDNN埋め込みを統合し、予測の最適化のためにクロスバリデーションを適用したリッジ回帰（LT-CCV）を適用した。
• MATLABおよびscikit-learnを用いて、標準化された前処理および類似性計算パイプラインを整備し、一貫性と再現可能性を確保した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み深層ニューラルネットワーク（DNN）の埋め込みは、画像、音声、動画の各モダリティにおいて人的類似性判断をどの程度正確に近似できるか？
• RQ2 タグとキャプションを用いた言語ベースの手法は、対比較的人的判断の代替として、よりスケーラブルかつ正確な代替手段を提供できるか？
• RQ3 スタックドモデルによる言語埋め込みとDNN埋め込みの統合により、性能にどの程度の向上が得られるか？
• RQ4 古典的な対比較法と比較して、言語ベースのアプローチにおけるデータ収集コスト（人的判断の数）はどのように異なるか？
• RQ5 共起性、TF-IDF、ROUGE などの言語ベース類似性手法の中で、どの手法が異なるモダリティで最も優れた性能を示すか？

主な発見

• 事前学習済みDNNは、画像、音声、動画のすべてのモダリティで人的類似性判断を著しく下回り、大きな性能ギャップが確認された。
• 言語ベースの手法、特にTF-IDFとBM25は、テキスト記述子のみを用いた場合にDNNベースの近似を上回り、人的判断との相関が高かった。
• 言語埋め込みとDNN埋め込みを統合したスタックドモデルは、すべてのモダリティで一貫して最高の性能を示し、単体のDNNや言語のみのモデルを上回った。
• 提案された言語ベースのアプローチにより、対比較的人的判断のO(N²)コストが、個々の刺激の記述にO(N)にまで削減され、スケーラブルな類似性近似が可能になった。
• 本研究では、206,339件の人的類似性判断に加え、すべてのモデルの結果を公開し、再現可能性と今後の研究を支援した。
• リッジ回帰によるDNN埋め込みの微調整（LT-CCV）は一部のケースで性能向上を示したが、特にキャプションベースの埋め込みでは不安定であり、主な分析では使用されなかった。