[論文レビュー] Rediscovering the Slavic Continuum in Representations Emerging from Neural Models of Spoken Language Identification

Badr M. Abdullah, Jacek Kudera+3 more|arXiv (Cornell University)|Oct 22, 2020

Speech Recognition and Synthesis参考文献 31被引用数 7

ひとこと要約

本稿では、11のスラブ語を対象とした畳み込みニューラルネットワーク（CNN）ベースの spoken language identification（LID）モデルを提案し、多様な録音条件にわたる頑健性を向上させるためにドメイン adversarial 学習を組み込んでいる。研究では、モデルから得られる顕在的表現を分析した結果、人間の誤認パターン（Great Language Game からのデータ）によって測定される知覚的誤認性が、言語表現の類似性を最もよく予測しており、系統的距離や地理的距離の指標を上回っていることが判明した。

ABSTRACT

Deep neural networks have been employed for various spoken language recognition tasks, including tasks that are multilingual by definition such as spoken language identification. In this paper, we present a neural model for Slavic language identification in speech signals and analyze its emergent representations to investigate whether they reflect objective measures of language relatedness and/or non-linguists' perception of language similarity. While our analysis shows that the language representation space indeed captures language relatedness to a great extent, we find perceptual confusability between languages in our study to be the best predictor of the language representation similarity.

研究の動機と目的

• 多様な録音条件にわたる一般化を可能にする、スラブ語向けの頑健なニューラル LID モデルの開発。
• ニューラル LID モデルから得られる顕在的表現が、系統的関連性や地理的接近度といった客観的言語的距離指標をどれだけ反映しているかを調査すること。
• 非言語学的専門家による言語類似性の知覚的誤認性（perceptual confusability）が、学習済み表現空間における幾何的距離をどれだけうまく予測できるかを評価すること。
• 学習済み表現空間の構造を、既存の言語的グループ化と人間の誤認パターン（Great Language Game からのデータ）と比較すること。

提案手法

• 11のスラブ語における音声言語識別（LID）を目的として、生の音声特徴量を用いた畳み込みニューラルネットワーク（CNN）の学習。
• 非言語的変動要因（例：録音条件）への感受性を低減し、複数のデータセット間での一般化性能を向上させるためにドメイン adversarial 学習を適用。
• 訓練済みモデルの最終隠れ層から、各言語ごとの高レベルな言語表現を抽出。
• 言語プロトタイプ（平均埋め込み）間のコサイン類似度を計算し、表現距離を定量化。
• 表現距離から階層的クラスタリング木を生成し、系統的、地理的、知覚的類似性の木と比較。
• 可視化技術を用いて、モデルがトレーニング時に見られなかった（未見の）言語を表現空間内で適切なサブグループに投影できるかを評価。

実験結果

リサーチクエスチョン

• RQ1 ニューラル LID モデルから得られる顕在的表現は、系統的関連性や地理的接近度といった客観的言語的距離指標をどれほど反映しているか？
• RQ2 学習済み表現空間における幾何的距離は、スラブ語間の非言語学的専門家による知覚的誤認性をどれほどうまく予測できるか？
• RQ3 トレーニング時に見られなかったスラブ語にモデルは一般化できるか？ また、それらを意味的に整合性のあるサブグループに適切に投影できるか？
• RQ4 表現距離から導出された階層的構造は、既存の言語的グループ化と人間の誤認パターン（Great Language Game からのデータ）とどれほど類似しているか？

主な発見

• ドメイン adversarial 学習を施したニューラル LID モデルは、録音条件が異なる複数のデータセット間で一般化性能が著しく向上した。
• モデルの埋め込み空間における表現距離は、スラブ語話者コミュニティ間の地理的距離と高い正の相関を示した。
• 歴史的音声データが欠落しているにもかかわらず、モデルの表現空間は系統的関係性を捉えており、承認済みのスラブ語系統樹を近似的に再現した。
• 人間の誤認パターン（Great Language Game からのデータ）に基づく知覚的誤認性が、地理的距離および系統的距離の指標を上回り、表現類似性の最も強い予測要因となった。
• 表現距離から得られた階層的クラスタリングは、Great Language Game のスラブ語部分木と類似しており、特に西スラブ語と東スラブ語がまずグループ化され、その後南スラブ語と統合される構造を示し、ブルガリア語が東スラブ語と、スロバキア語が南スラブ語とグループ化される点で一致した。
• 可視化結果から、モデルが未見のスラブ語を正しいサブグループの部分空間に適切に投影できることを確認し、頑健な一般化能力を示した。