[논문 리뷰] IPA-CLIP: Integrating Phonetic Priors into Vision and Language Pretraining

Chihaya Matsuhira, Marc A. Kastner외 5명|arXiv (Cornell University)|2023. 03. 06.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 비음소적 사전 지식을 통합하여 발음 유사성 이해를 향상시키기 위해 IPA 기반 음소 임베딩을 활용하는 시각-언어 사전학습 모델인 IPA-CLIP을 제안한다. 특히 비어 있는 단어(nonwords)에 대해 발음 유사성 이해를 개선한다. 동결된 CLIP 텍스트 인코더로부터 지식蒸留를 통해 모델은 다중모달 검색 성능을 햖थ하고 인간의 발음 유사성 인지와 더 잘 일치하는 발음 인코더를 학습한다.

ABSTRACT

Recently, large-scale Vision and Language (V\&L) pretraining has become the standard backbone of many multimedia systems. While it has shown remarkable performance even in unseen situations, it often performs in ways not intuitive to humans. Particularly, they usually do not consider the pronunciation of the input, which humans would utilize to understand language, especially when it comes to unknown words. Thus, this paper inserts phonetic prior into Contrastive Language-Image Pretraining (CLIP), one of the V\&L pretrained models, to make it consider the pronunciation similarity among its pronunciation inputs. To achieve this, we first propose a phoneme embedding that utilizes the phoneme relationships provided by the International Phonetic Alphabet (IPA) chart as a phonetic prior. Next, by distilling the frozen CLIP text encoder, we train a pronunciation encoder employing the IPA-based embedding. The proposed model named IPA-CLIP comprises this pronunciation encoder and the original CLIP encoders (image and text). Quantitative evaluation reveals that the phoneme distribution on the embedding space represents phonetic relationships more accurately when using the proposed phoneme embedding. Furthermore, in some multimodal retrieval tasks, we confirm that the proposed pronunciation encoder enhances the performance of the text encoder and that the pronunciation encoder handles nonsense words in a more phonetic manner than the text encoder. Finally, qualitative evaluation verifies the correlation between the pronunciation encoder and human perception regarding pronunciation similarity.

연구 동기 및 목표

• 비어 있는 단어나 알려지지 않은 용어에 대해 시각-언어 모델이 발음 유사성을 고려하지 못하는 한계를 해결하기 위해.
• 국제음소기호(IPA) 표를 활용하여 CLIP에 음소적 사전 지식을 통합하여 음소 간 관계를 모델링하기 위해.
• 표준 텍스트 기반 CLIP보다 비어 있는 단어를 더 견고하게 처리할 수 있는 발음 인코더를 개발하기 위해.
• 학습된 발음 임베딩 공간이 인간이 평가한 음소 유사성과 얼마나 관련이 있는지 평가하기 위해.

제안 방법

• IPA 표의 음소 관계를 연속 벡터 공간에 인코딩하는 IPA 기반 음소 임베딩을 제안한다.
• 동결된 CLIP 텍스트 인코더로부터 지식蒸류를 통해 발음 인코더를 훈련하며, 입력으로 IPA 기반 임베딩을 사용한다.
• 기존 이미지 및 텍스트 인코더를 동결한 채로 새로운 발음 인코더를 CLIP에 통합한다.
• 이미지-텍스트 쌍을 대상으로 대비 학습을 수행하여 발음 인코더의 출력을 CLIP의 공유 임베딩 공간과 일치시킨다.
• 다중모달 검색 및 인간의 발음 유사성 인지 평가에서 발음 인코더의 성능을 평가한다.
• 임베딩 공간이 인간 평가 기반 발음 유사성과 얼마나 잘 일치하는지 평가하기 위해 순위 상관계수 지표를 적용한다.

실험 결과

연구 질문

• RQ1 비음소적 사전 지식을 통합한 IPA 기반 음소 임베딩이 시각-언어 사전학습 환경에서 표준 텍스트 기반 임베딩보다 음소 관계를 더 잘 표현할 수 있는가?
• RQ2 CLIP에 발음 인코더를 통합함으로써 다중모달 검색 작업, 특히 비어 있는 단어에 대해 성능 향상이 이루어지는가?
• RQ3 학습된 발음 임베딩 공간이 인간의 발음 유사성 인지와 얼마나 잘 관련되어 있는가?
• RQ4 제안된 방법이 표준 CLIP에 비해 비어 있는 단어에 대해 더 견고한가?
• RQ5 짧은 음절로 이루어진 단어에서 높은 음소적 모호성이 존재할 경우 이 방법의 한계는 무엇인가?

주요 결과

• IPA 기반 음소 임베딩은 IPA 표의 음소 구조와의 일치도가 높아, 임베딩 공간 내에서 음소 관계 표현이 향상됨을 보여주었다.
• 다중모달 검색에서 IPA-CLIP는 표준 CLIP를 능가하며, 특히 비어 있는 단어가 포함된 경우에 더 높은 견고성을 보였다.
• 비어 있는 단어 'Sit'에 대해 발음 인코더는 인간 인지와의 순위 상관계수 0.642를 기록했으며, CLIP의 0.353보다 뚜렷이 높았다.
• 'Wonder'에 대해서는 제안된 방법이 순위 상관계수 0.640을 기록하여 인간의 발음 유사성 인지와 강한 일치를 보였다.
• 짧은 단어인 'Sit'에 대해 제안된 모델의 동결된 버전 성능은 낮았으며, 이는 짧은 음절에서의 음소적 모호성에 민감함을 시사했다.
• 전반적으로 모든 음소 기반 방법은 텍스트 기반 CLIP 베이스라인에 비해 인간 인지와의 상관계수에서 뛰어난 성능을 보였으며, 음소적 사전 지식의 효과성을 입증했다.