[論文レビュー] Are word boundaries useful for unsupervised language learning?

Tu Anh Nguyen, Maureen de Seyssel+4 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、語区切り情報が音声からの教師なし言語学習をどのように向上させるかを調査する。文字、音素、語、BPE単位で学習したLSTMモデルを、黄金語区切りまたは自動的に推定された語区切りを有する・なしで比較した。語区切り情報を失うと、タスクに応じて2%から28%の性能低下が生じるが、わずか40%のFスコアを達成する不完全な教師なし分割でも、構文的および意味的ベンチマークでの性能を顕著に回復できることが判明した。

ABSTRACT

Word or word-fragment based Language Models (LM) are typically preferred over character-based ones in many downstream applications. This may not be surprising as words seem more linguistically relevant units than characters. Words provide at least two kinds of relevant information: boundary information and meaningful units. However, word boundary information may be absent or unreliable in the case of speech input (word boundaries are not marked explicitly in the speech stream). Here, we systematically compare LSTMs as a function of the input unit (character, phoneme, word, word part), with or without gold boundary information. We probe linguistic knowledge in the networks at the lexical, syntactic and semantic levels using three speech-adapted black box NLP psycholinguistically-inpired benchmarks (pWUGGY, pBLIMP, pSIMI). We find that the absence of boundaries costs between 2\% and 28\% in relative performance depending on the task. We show that gold boundaries can be replaced by automatically found ones obtained with an unsupervised segmentation algorithm, and that even modest segmentation performance gives a gain in performance on two of the three tasks compared to basic character/phone based models without boundary information.

研究の動機と目的

• 音声からの教師なし言語表現学習における語区切り情報の影響を評価すること。
• 語区切りなしの文字ベースまたは音素ベースのモデルが、語ベースのモデルに比べて性能が劣るかどうかを特定すること。
• 教師なし分割から自動的に推定された語区切りが、黄金語区切りの欠如を補うのにどの程度有効かを評価すること。
• 音声入力に適した、心理学的・言語学的インスピレーションを受けて設計されたベンチマーク（pWUGGY、pBLIMP、pSIMI）を構築・適用し、モデルの言語的知識を評価すること。
• OOV問題を補償機構によって解消することで、語ベース、サブワード、文字/音素ベースのモデル間の公平な比較を実現すること。

提案手法

• Librispeech学習セットを用いて音声化および語彙フィルタリングを施し、テキストベースのNLPベンチマーク（pWUGGY（語彙的）、pBLIMP（構文的）、pSIMI（意味的））を音声入力に適応させた。
• Librispeech上で3層LSTMを、文字、音素、語、BPEの4種類の入力ユニットタイプを用いて学習し、黄金語区切りあり・なしの両方で実験した。
• 追加で2つのモデル変種を導入した：1つは教師なし分割アルゴリズム（DP-Parse）を用いて自動的に語区切りを検出するもの、もう1つはOOV用に文字/音素フォールバックを採用するもの。
• 入力ユニットの粒度に依存しない言語的知識を測定する3つのブラックボックスベンチマークを用いてモデルを評価した。
• 黄金語区切りを用いて語トークンを定義し、語モデルでは20k語の語彙制限を、フォールバックモデルでは20k語を適用した。
• 開発セットでのハイパーパramータチューニング後、テストセットでの結果を報告した。pSIMIの最適な層およびプーリング組み合わせに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 音声から学習した言語モデルが、語区切り情報を欠如させると、言語的知識にどのような影響を与えるか？
• RQ2 教師なし語分割が、黄金語区切りの欠如を補うためにどの程度効果を発揮できるか？
• RQ3 文字、音素、語、BPEといった異なる入力ユニットは、黄金語区切りなしで語彙的・構文的・意味的知識をどの程度正確に捉えられるか？
• RQ4 音声に適した心理学的・言語学的インスピレーションを受けて設計されたベンチマークは、生の音声入力から学習したモデルの言語的熟達度を信頼性を持って測定できるか？
• RQ5 語区切りの欠如による性能低下は、異なる言語的タスク間で一貫しているか？

主な発見

• 語区切り情報が欠如すると、語彙的ベンチマーク（pWUGGY）で相対的に2%、構文的ベンチマーク（pBLIMP）で14%、意味的ベンチマーク（pSIMI）で28%の性能低下が生じた。
• 黄金語区切りを用いて学習したモデルは、語区切りなしのモデルを常に上回り、語ベースのモデルはpBLIMPおよびpSIMIで最高スコアを記録した。
• わずか40%のFスコアを達成する不完全な自動語分割でも、語区切り情報なしのモデルに比べてpBLIMPおよびpSIMIでの性能が向上した。
• 語区切りなしの文字ベースモデルがpWUGGYで最高の性能を示し、語彙的妥当性の検出はより細粒度のユニットに恩恵を受けることが示唆された。
• 文字サブワードを用いたBPEモデル（BPE word[char]）がpSIMIで2番目に高いスコア（20.42）を記録し、境界を持つサブワードユニットが言語的知識を部分的に回復できることを示した。
• トップパフォーマンスを示したBERTベースのモデル（RoBERTa-large）はpBLIMPで96.03を記録し、教師あり事前学習と音声からの教師なしモデルとの間のギャップが顕著に現れた。