[論文レビュー] Retriever: Learning Content-Style Representation as a Token-Level Bipartite Graph

Dacheng Yin, Xuanchi Ren+4 more|arXiv (Cornell University)|Feb 24, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Retriever は、トーケンレベルの二部グラフとして表現することで、モードに依存しない、教師なしの枠組みを提案し、コンテンツ・スタイルの分離表現を学習する。スタイル検索にはクロスアテンションを、解釈可能なコンテンツトークンの生成にはマニフェストに誘導された制約を施したベクトル量子化（VQ）を、再構成には新規のリンクアテンションモジュールを用いる。この手法は、ゼロショット音声変換で最先端の性能を達成し、画像における部分の発見においても競争力のある結果を示し、優れた分離性と生成可能性を示している。

ABSTRACT

This paper addresses the unsupervised learning of content-style decomposed representation. We first give a definition of style and then model the content-style representation as a token-level bipartite graph. An unsupervised framework, named Retriever, is proposed to learn such representations. First, a cross-attention module is employed to retrieve permutation invariant (P.I.) information, defined as style, from the input data. Second, a vector quantization (VQ) module is used, together with man-induced constraints, to produce interpretable content tokens. Last, an innovative link attention module serves as the decoder to reconstruct data from the decomposed content and style, with the help of the linking keys. Being modal-agnostic, the proposed Retriever is evaluated in both speech and image domains. The state-of-the-art zero-shot voice conversion performance confirms the disentangling ability of our framework. Top performance is also achieved in the part discovery task for images, verifying the interpretability of our representation. In addition, the vivid part-based style transfer quality demonstrates the potential of Retriever to support various fascinating generative tasks. Project page at https://ydcustc.github.io/retriever-demo/.

研究の動機と目的

• 順列不変性に基づく構造的データにおけるコンテンツとスタイルの統一的・モードに依存しない定義を確立すること。
• モダリティ固有またはデータセット固有の定義に依存せずに、コンテンツとスタイルを分離する教師なしフレームワークを開発すること。
• 学習可能な二部グラフ構造を通じて、コンテンツとスタイルの細分化で解釈可能な操作を可能にすること。
• 音声および視覚タスクの両方において、高精度なデータ再構成と下流タスクの性能を達成すること。

提案手法

• スタイルをトーケンレベルでの順列不変（P.I.）情報と定義し、コンテンツを残りの順序に敏感な情報と定義する。
• 共有プロトタイプを用いたクロスアテンションモジュールを用いて、入力データからP.I. スタイルトークンを検索する。
• マニフェストに誘導された制約を施したベクトル量子化（VQ）を適用し、離散的で解釈可能なコンテンツトークンを生成する。
• リンクキーを用いて、コンテンツクエリ駆動型のスタイル検索を通じて、コンテンツとスタイルからデータを再構成するリンクアテンションモジュールを導入する。
• 再構成損失、VQの多様性損失、構造的制約損失の組み合わせを用いて、モデルをエンドツーエンドで訓練する。
• モダリティに依存しない性質を確保するため、モダリティ固有のインダクティブバイアスを含まないトーケンレベル表現上で動作するコンポーネントを設計する。

実験結果

リサーチクエスチョン

• RQ1 音声や画像のような異なるモダリティにわたり、統一的かつ順列不変なスタイルの定義を適用可能か？
• RQ2 ペairedデータやモダリティ固有の教師信号に依存せずに、コンテンツとスタイルを教師なしで分離できるか？
• RQ3 トーケンレベルの二部グラフ構造は、下流タスクのためのコンテンツとスタイルの細分化で解釈可能な制御を可能にするか？
• RQ4 提案されたリンクアテンション機構は、分離されたコンテンツとスタイル表現からデータを効果的に再構成できるか？
• RQ5 このフレームワークは、キュレートされたベンチマークを超えて、LibriSpeechのような現実的かつ多様なデータセットにも一般化可能か？

主な発見

• 10個のターゲット発話を使用した場合、CMU Arcticデータセットにおいて99.6％の類似度精度を達成し、ゼロショット音声変換性能で最先端を記録した。
• LibriSpeechデータセットでは、60個のスタイルトークンを用いて98.4％のスピーカーバリデーション精度と3.13のMOSNetスコアを達成し、複雑で現実的な環境でも堅牢性を示した。
• アブレーションスタディの結果、構造的制約とVQの多様性損失の両方が不可欠であることが確認され、それらを欠如させると音声品質が低下（MOSNetが2.94に低下）した。
• ハイパーパramータの変動に対してもモデルは頑健である：損失重みの広い範囲で、SV精度は±0.45％以内、MOSNetは±0.02以内で変動した。
• 画像における部分レベルのスタイル転送は、鮮やかで解釈可能な結果をもたらし、学習されたコンテンツおよびスタイル表現の解釈可能性を裏付けた。
• フレームワークは画像部品発見においても競争力のある性能を達成し、マニフェストに誘導された制約を介して得られたコンテンツトークンの解釈可能性を検証した。