[論文レビュー] Variable-rate discrete representation learning

Sander Dieleman, Charlie Nash+2 more|arXiv (Cornell University)|Mar 10, 2021

Speech Recognition and Synthesis参考文献 91被引用数 10

ひとこと要約

この論文では、顕著なイベントを特定し、ランレングス符号化を可能にすることで、変動レートの離散的表現を学習するためのスローモードオートエンコーダ（SlowAE）を紹介する。ランレングストランスフォーマー（RLT）と組み合わせることで、教師なしで意味的に整合性があり文法的に正しい発話の継続を生成し、イベントベースの疎で変化しやすい表現を通じて忠実な再構成と適応的計算を実現する。

ABSTRACT

Semantically meaningful information content in perceptual signals is usually unevenly distributed. In speech signals for example, there are often many silences, and the speed of pronunciation can vary considerably. In this work, we propose slow autoencoders (SlowAEs) for unsupervised learning of high-level variable-rate discrete representations of sequences, and apply them to speech. We show that the resulting event-based representations automatically grow or shrink depending on the density of salient information in the input signals, while still allowing for faithful signal reconstruction. We develop run-length Transformers (RLTs) for event-based representation modelling and use them to construct language models in the speech domain, which are able to generate grammatical and semantically coherent utterances and continuations.

研究の動機と目的

• 音声のような知覚信号の高レベルで離散的かつ変動レートの表現を学習し、顕著な情報の密度に適応すること。
• 音声学的・言語的教師なしで、意味のあるイベント（例：音素遷移）を自動的に特定する教師なし手法を開発すること。
• イベントベースの表現を効率的にモデル化するため、ランレングス構造を活用するランレングストランスフォーマー（RLT）を設計すること。
• このような表現が、意味的に整合的かつ文法的に正しい発話の生成に有効に機能することを示すこと。
• モデルの複雑さを固定時間間隔ではなく、知覚的に重要なコンテンツに合わせることで、計算およびメモリコストを削減すること。

提案手法

• スローモードオートエンコーダ（SlowAE）は、適応的グループスパースなスローネスペナルティを用い、離散的表現の値がゆっくりと変化するよう促進することで、イベントベースの構造を促進する。
• 新たなスカラ量子化戦略により、離散出力をランレングス符号化に適した形に保証し、変動レート表現を可能にする。
• 教師なしで、生の音声から直接表現を学習し、再構成誤差を最小化するとともに、時間的滑らかさを強制する。
• ランレングストランスフォーマー（RLT）は、(値, 長さ)タプルを処理することで、自己回帰的にイベント系列をモデル化し、ランレングス構造を活用して効率を高める。
• SlowAEとRLTをエンドツーエンドで統合し、オーディオブックデータ上で音声言語モデルを訓練し、整合性のある音声サンプルを生成する。
• 学習済み表現におけるイベント密度は、音素変化などの意味的コンテンツと相関しており、適応的計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師なし学習によって、音声信号における顕著なイベントを音声学的・言語的教師なしで特定できるか？
• RQ2 入力の情報密度に応じてサイズが変動するような離散的・変動レート表現を学習できるか？
• RQ3 ランレングス符号化を効果的に活用し、効率的で構造的な自己回帰モデルでイベントベースの表現をモデル化できるか？
• RQ4 このようなシステムは、何らの教師なし形式なしで、意味的に整合的かつ文法的に正しい発話の継続を生成できるか？
• RQ5 得られた表現は、忠実な信号再構成を実現するとともに、情報が少ないセグメントの計算コストを低減できるか？

主な発見

• SlowAEモデルは、顕著な情報の密度に応じて自然に長さが伸び縮みする離散的表現を学習し、変動レート符号化を可能にする。
• 得られたイベントベースの表現はランレングス符号化に適しており、表現サイズを削減するとともに、効率的なモデル化を可能にする。
• ランレングストランスフォーマー（RLT）は、イベント系列を効果的にモデル化し、新しい文法的に正しい、意味的に整合性のある発話発話生成に成功する。
• 生の音声と言語的教師なしでのみ、忠実な信号再構成を達成しており、教師なしイベントベース表現学習の強力さを示している。
• 意味のあるイベントにのみ計算を集中させることで、無音または低活動セグメントの計算コストを削減する。
• 学習済み表現はタイミング情報を正確に捉えているが、発話の持続時間のばらつきをまだ抽象化していない。