[논문 리뷰] Words are all you need? Language as an approximation for human similarity judgments

Raja Marjieh, Pol van Rijn외 5명|arXiv (Cornell University)|2022. 06. 08.

Machine Learning in Healthcare인용 수 8

한 줄 요약

이 논문은 단어 임베딩, 공출현, TF-IDF와 같은 언어 기반 방법을 사용하여 이미지, 오디오, 비디오 전반에서 인간의 유사도 판단을 근사화함으로써, 비용이 많이 드는 쌍별 인간 평가의 필요성을 크게 줄이고자 한다. 언어 기반 모델이 사전 훈련된 딥 네트워크(DNN)보다 우수하며, 언어 및 DNN 임베딩을 조합한 스타킹 모델이 가장 뛰어난 성능을 보임을 입증하였다. 복합적인 데이터셋 206,339건의 인간 평가 결과를 공개하여 재현 가능성을 확보하였다.

ABSTRACT

Human similarity judgments are a powerful supervision signal for machine learning applications based on techniques such as contrastive learning, information retrieval, and model alignment, but classical methods for collecting human similarity judgments are too expensive to be used at scale. Recent methods propose using pre-trained deep neural networks (DNNs) to approximate human similarity, but pre-trained DNNs may not be available for certain domains (e.g., medical images, low-resource languages) and their performance in approximating human similarity has not been extensively tested. We conducted an evaluation of 611 pre-trained models across three domains -- images, audio, video -- and found that there is a large gap in performance between human similarity judgments and pre-trained DNNs. To address this gap, we propose a new class of similarity approximation methods based on language. To collect the language data required by these new methods, we also developed and validated a novel adaptive tag collection pipeline. We find that our proposed language-based methods are significantly cheaper, in the number of human judgments, than classical methods, but still improve performance over the DNN-based methods. Finally, we also develop `stacked' methods that combine language embeddings with DNN embeddings, and find that these consistently provide the best approximations for human similarity across all three of our modalities. Based on the results of this comprehensive study, we provide a concise guide for researchers interested in collecting or approximating human similarity data. To accompany this guide, we also release all of the similarity and language data, a total of 206,339 human judgments, that we collected in our experiments, along with a detailed breakdown of all modeling results.

연구 동기 및 목표

• 자극 수의 제곱에 비례하여 증가하는 인간의 유사도 판단 수집 비용 문제를 해결하기 위해.
• 이미지, 오디오, 비디오 전반에서 사전 훈련된 딥 네트워크(DNN) 모델 611개의 성능을 평가하여 인간의 유사도 판단에 얼마나 잘 근사하는지 평가하기 위해.
• 언어 기반 기술(태그 및 캡션)을 활용하여 인간의 쌍별 평가에 비해 저비용이고 확장 가능한 대안을 개발하고 검증하기 위해.
• 언어 기반 방법과 DNN 기반 근사치를 비교하고, 스타킹 모델을 통해 둘을 조합함으로써 얻는 이점을 평가하기 위해.
• 206,339건의 인간 유사도 판단 데이터셋과 모든 모델링 결과를 공개하여 재현 가능성과 향후 연구를 지원하기 위해.

제안 방법

• 이미지, 오디오, 비디오 세 가지 모odal에서 206,339개의 자극 쌍에 대해 인력의 유사도 판단을 커스터마이징하여 수집하였다.
• 각 자극에 대해 O(N) 비용으로 텍스트 기술자(태그 및 캡션)를 효율적으로 수집할 수 있도록 적응형 태그 수집 파이프라인을 개발하였다. 이는 O(N²) 비용을 피하기 위함이다.
• 다양한 언어 기반 유사도 방법을 적용: 공출현, 공출현-재구성, ROUGE, BM25, TF-IDF와 코사인 유사도, 정규화 및 어간 추출을 적용한 백오프워즈 표현.
• 모든 세 모달에서 611개의 사전 훈련된 DNN 임베딩을 평가하여 인간의 유사도 판단과의 유사도를 벤치마크로 삼았다.
• 언어 임베딩과 DNN 임베딩을 스타킹 모델을 통해 조합하고, 교차 검증을 통한 리지 회귀(LT-CCV)를 적용하여 예측 성능을 최적화하였다.
• 재현 가능성을 확보하기 위해 MATLAB과 scikit-learn를 사용해 표준화된 전처리 및 유사도 계산 파이프라인을 구현하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 네트워크(DNN) 임베딩이 이미지, 오디오, 비디오 전반에서 인간의 유사도 판단을 얼마나 잘 근사하는가?
• RQ2 태그와 캡션을 활용한 언어 기반 방법이 쌍별 인간 평가에 비해 더 확장 가능하고 정확한 대안이 될 수 있는가?
• RQ3 언어 임베딩과 DNN 임베딩을 조합한 스타킹 모델에서 성능 향상은 얼마나 이루어지는가?
• RQ4 전통적인 쌍별 방법과 비교했을 때 언어 기반 접근법의 데이터 수집 비용(인간 평가 수)은 어떻게 다른가?
• RQ5 다양한 모달에서 가장 우수한 성능을 보이는 언어 기반 유사도 방법은 무엇인가?(예: 공출현, TF-IDF, ROUGE)

주요 결과

• 사전 훈련된 DNN 모델은 인간의 유사도 판단에 크게 뒤처지며, 이미지, 오디오, 비디오 전반에서 뚜렷한 성능 격차가 관찰되었다.
• 언어 기반 방법, 특히 TF-IDF와 BM25는 텍스트 기반 기술만을 사용할 경우 DNN 기반 근사치를 능가하며, 인간 평가와의 상관관계가 더 높았다.
• 언어 임베딩과 DNN 임베딩을 조합한 스타킹 모델은 모든 모달에서 일관되게 최고의 성능을 보였으며, 독립적인 DNN 모델과 언어 전용 모델을 모두 능가했다.
• 제안된 언어 기반 접근법은 기존의 O(N²) 쌍별 평가에서 O(N) 개별 자극 기술 수집으로 데이터 수집 비용을 크게 줄여 유사도 근사화의 확장성을 가능하게 하였다.
• 이 연구는 206,339건의 인간 유사도 판단 데이터셋과 모든 모델링 결과를 공개하여 재현 가능성과 향후 연구를 지원하였다.
• 리지 회귀(LT-CCV)를 통한 DNN 임베딩의 최적화는 일부 케이스, 특히 캡션 기반 임베딩에서는 성능 향상을 보였지만, 불안정하여 주요 분석에서는 사용되지 않았다.