[論文レビュー] IPA-CLIP: Integrating Phonetic Priors into Vision and Language Pretraining

Chihaya Matsuhira, Marc A. Kastner+5 more|arXiv (Cornell University)|Mar 6, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

この論文では、IPAベースの発音記号埋め込みを用いて発音類似性の事前知識を統合することで、特に非語（nonwords）の理解を向上させる視覚・言語事前学習モデル、IPA-CLIPを提案する。固定されたCLIPテキストエンコーダーから知識蒸留を行うことで、マルチモーダル検索性能を向上させるとともに、人間の発音類似性認識とより整合性の高い発音エンコーダーを学習する。

ABSTRACT

Recently, large-scale Vision and Language (V\&L) pretraining has become the standard backbone of many multimedia systems. While it has shown remarkable performance even in unseen situations, it often performs in ways not intuitive to humans. Particularly, they usually do not consider the pronunciation of the input, which humans would utilize to understand language, especially when it comes to unknown words. Thus, this paper inserts phonetic prior into Contrastive Language-Image Pretraining (CLIP), one of the V\&L pretrained models, to make it consider the pronunciation similarity among its pronunciation inputs. To achieve this, we first propose a phoneme embedding that utilizes the phoneme relationships provided by the International Phonetic Alphabet (IPA) chart as a phonetic prior. Next, by distilling the frozen CLIP text encoder, we train a pronunciation encoder employing the IPA-based embedding. The proposed model named IPA-CLIP comprises this pronunciation encoder and the original CLIP encoders (image and text). Quantitative evaluation reveals that the phoneme distribution on the embedding space represents phonetic relationships more accurately when using the proposed phoneme embedding. Furthermore, in some multimodal retrieval tasks, we confirm that the proposed pronunciation encoder enhances the performance of the text encoder and that the pronunciation encoder handles nonsense words in a more phonetic manner than the text encoder. Finally, qualitative evaluation verifies the correlation between the pronunciation encoder and human perception regarding pronunciation similarity.

研究の動機と目的

• 視覚・言語モデルが発音類似性を十分に考慮できないという限界、特に非語や未知語の文脈において解決を図ること。
• 国際発音アルファベット（IPA）表を活用して発音記号の関係性をモデル化することで、CLIPに発音の事前知識を統合すること。
• 標準的なテキストベースのCLIPよりも非語の処理にさらに頑健である、マルチモーダル検索性能を向上させる発音エンコーダーを開発すること。
• 学習された発音埋め込み空間が人間の発音類似性認識とどの程度相関するかを評価すること。

提案手法

• IPA表の発音的関係性を連続ベクトル空間に符号化するIPAベースの発音記号埋め込みを提案する。
• 固定されたCLIPテキストエンコーダーからの知識蒸留を用いて、IPAベースの埋め込みを入力として発音エンコーダーを訓練する。
• 元の画像およびテキストエンコーダーを固定したまま、新しい発音エンコーダーをCLIPに統合する。
• 画像-テキストペアを用いた対照的事前学習により、発音エンコーダーの出力をCLIPの共有埋め込み空間と一致させる。
• マルチモーダル検索および人間の発音類似性認識における発音エンコーダーの性能を評価する。
• 埋め込み空間が人間が評価した発音類似性をどの程度反映しているかを評価するためにランク相関指標を適用する。

実験結果

リサーチクエスチョン

• RQ1 視覚・言語事前学習の文脈において、標準的なテキストベースの埋め込みと比較して、IPAベースの発音記号埋め込みは発音的関係性をよりよく表現できるか？
• RQ2 CLIPに発音エンコーダーを統合することで、特に非語を含むマルチモーダル検索タスクの性能が向上するか？
• RQ3 学習された発音埋め込み空間は、人間の発音類似性認識とどの程度相関するか？
• RQ4 提案手法は、標準的なCLIPと比較して非語に対する耐性を高めているか？
• RQ5 短い音節語（短い発音単語）において、発音の曖昧さが著しく高い場合、このアプローチの限界は何か？

主な発見

• IPAベースの発音記号埋め込みは、IPA表の発音的構造とより良い一致を示すことで、埋め込み空間における発音的関係性の表現が向上していることが示された。
• マルチモーダル検索において、IPA-CLIPは標準的なCLIPを上回り、特に非語が関与する状況でより頑健であることが実証された。
• 「Sit」という単語について、発音エンコーダーは人間の認識と0.642のランク相関を達成し、CLIPの0.353を著しく上回った。
• 「Wonder」についても、提案手法は0.640のランク相関を達成し、人間の発音類似性認識と強い整合性を示した。
• 「Sit」のような短い単語では、提案手法の固定バージョンの性能が低かったことから、短い音節における発音の曖昧さに感受性が高いことが示された。
• 全体として、発音に基づくすべての手法がテキストベースのCLIPベースラインを上回り、発音の事前知識の有効性が裏付けられた。