[論文レビュー] Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation

Khazar Khorrami, Okko Räsänen|arXiv (Cornell University)|Sep 29, 2021

Multisensory perception and integration参考文献 93被引用数 5

ひとこと要約

この計算研究では、明示的な教師信号や言語的事前知識なしに、音声的（音素）、音節的、語彙的（語）単位が、クロス状況的音声視覚学習中に潜在表現として出現するかどうかを調査する。合成音声と実際の音声を視覚的入力とペアにして訓練された深層ニューラルネットワークを用いて、著者らは、このような言語単位が学習された表現の中で自発的に出現することを示し、潜在的言語仮説（LLH）を支持する。

ABSTRACT

Decades of research has studied how language learning infants learn to discriminate speech sounds, segment words, and associate words with their meanings. While gradual development of such capabilities is unquestionable, the exact nature of these skills and the underlying mental representations yet remains unclear. In parallel, computational studies have shown that basic comprehension of speech can be achieved by statistical learning between speech and concurrent referentially ambiguous visual input. These models can operate without prior linguistic knowledge such as representations of linguistic units, and without learning mechanisms specifically targeted at such units. This has raised the question of to what extent knowledge of linguistic units, such as phone(me)s, syllables, and words, could actually emerge as latent representations supporting the translation between speech and representations in other modalities, and without the units being proximal learning targets for the learner. In this study, we formulate this idea as the so-called latent language hypothesis (LLH), connecting linguistic representation learning to general predictive processing within and across sensory modalities. We review the extent that the audiovisual aspect of LLH is supported by the existing computational studies. We then explore LLH further in extensive learning simulations with different neural network models for audiovisual cross-situational learning, and comparing learning from both synthetic and real speech data. We investigate whether the latent representations learned by the networks reflect phonetic, syllabic, or lexical structure of input speech by utilizing an array of complementary evaluation metrics related to linguistic selectivity and temporal characteristics of the representations. As a result, we find that representations associated...

研究の動機と目的

• 音声視覚クロス状況的学習中に、明示的な言語的監視なしに、音声的・音節的・語彙的単位が潜在表現として出現するかどうかを調査すること。
• 音声視覚統計的学習が、それ自体でそれらの単位を明示的に学習させずに、構造的な言語的表現を生じる程度を評価すること。
• 合成および実際の音声データを用いて、計算モデルにおける潜在的言語仮説（LLH）の妥当性を検証すること。
• 複数の補完的評価指標を用いて、学習された表現が既知の言語的構造を反映しているかどうかを評価すること。
• 合成音声と実際の音声の両方のデータタイプにおいて、異なるニューラルネットワークアーキテクチャ間で言語単位の出現を比較すること。

提案手法

• 音声入力を参照的に曖昧な視覚的刺激とペアにしたクロス状況的音声視覚学習タスクに深層ニューラルネットワークを訓練する。
• 制御された音声的および語彙的構造を持つ合成音声と、実際の人間の音声録音を用いて、データタイプにわたる頑健性を評価する。
• 学習された特徴量の言語的選択性と時間的構造を調べるための表現解析技術を用いる。
• 音素的・音節的・語彙的組織の感度に配慮した評価指標を適用し、クラスタリングと時間的整合性の評価を含む。
• 異なるネットワークアーキテクチャ間で表現を比較し、研究結果の一般化可能性を評価する。
• 対照的および自己教師あり学習の目的関数を用いて、明示的な言語的ラベルなしに、分離可能で意味のある表現を促進する。

実験結果

リサーチクエスチョン

• RQ1 音声視覚クロス状況的学習において、明示的な訓練なしに音素（phones）が潜在表現として出現するか？
• RQ2 音声視覚モデルの学習済み表現に、どの程度音節的構造が現れるか？
• RQ3 語レベルの単位（words）が、語レベルの監視なしに、音声視覚学習の副産物として自発的に形成されるか？
• RQ4 合成音声と実際の音声データの両方において、出現する言語的表現はどのように比較されるか？
• RQ5 異なるニューラルネットワークアーキテクチャは、学習済み表現における言語的構造のレベルを同等に得るか？

主な発見

• 音声視覚ニューラルネットワークの潜在表現は、音素単位に対して強い選択性を示しており、音素がクロス状況的学習の副産物として出現していることを示している。
• 時間的ダイナミクスとクラスタリングの両方において、音節的構造が反映されており、自発的な音節レベルの組織化が示唆される。
• 語構造の入力で訓練された場合、明示的な語境界やラベルなしに、語彙レベルの単位が表現に自発的に出現する。
• 制御された音声的および語彙的構造を持つ合成音声で訓練されたモデルでは、言語的構造の出現が顕著に顕在化する。
• 実際の音声から学習された表現は、合成データほどではないが依然として顕著な言語的選択性を示しており、データタイプにわたる頑健性が裏付けられる。
• 異なるニューラルネットワークアーキテクチャが、表現において質的に類似した言語的構造を生み出すため、潜在的言語仮説の一般化可能性が支持される。