[論文レビュー] CLEAR: A Dataset for Compositional Language and Elementary Acoustic Reasoning

Jerome Abdelnour, Giampiero Salvi+1 more|arXiv (Cornell University)|Nov 26, 2018

Natural Language Processing Techniques参考文献 12被引用数 7

ひとこと要約

本稿では、基本的な音源から構成される音声シーンについて質問に答える、合成音声質問応答（AQA）のためのCLEARという合成データセットを紹介する。CLEVRにインspiredされたデータ生成フレームワークを用い、楽器の音源と機能的プログラムを用いて、音量、明るさ、ピッチ、タイミング、空間的関係性に関する質問を生成。50,000シーンのベンチマークでFiLMモデルが89.97%の精度を達成した。

ABSTRACT

We introduce the task of acoustic question answering (AQA) in the area of acoustic reasoning. In this task an agent learns to answer questions on the basis of acoustic context. In order to promote research in this area, we propose a data generation paradigm adapted from CLEVR (Johnson et al. 2017). We generate acoustic scenes by leveraging a bank elementary sounds. We also provide a number of functional programs that can be used to compose questions and answers that exploit the relationships between the attributes of the elementary sounds in each scene. We provide AQA datasets of various sizes as well as the data generation code. As a preliminary experiment to validate our data, we report the accuracy of current state of the art visual question answering models when they are applied to the AQA task without modifications. Although there is a plethora of question answering tasks based on text, image or video data, to our knowledge, we are the first to propose answering questions directly on audio streams. We hope this contribution will facilitate the development of research in the area.

研究の動機と目的

• 音声質問応答（AQA）をAI分野における新しいタスクとして確立し、音声の変換なしに生の音声ストリームに対して推論を行うことを可能にすること。
• 音声における合成的推論を支援するデータセットの不足を補うために、明確な意味的基盤を持つ偏りを制御した合成データセットを構築すること。
• 視覚的推論のためのCLEVRパラダイムを、実際の楽器の録音を基本音源として用いる音声モダリティへと拡張すること。
• 構造的で解釈可能な質問と回答を用いて、音声ベースの推論タスクにおけるニューラルモデルの評価を可能にすること。

提案手法

• 音声シーンは、Good-Soundsデータベースからの実際の楽器の音符の録音を順序付けて生成され、楽器、ピッチ、音量、明るさなどの属性を持つ基本音源として表現される。
• 機能的プログラムを用いて、音源属性間の関係性およびその順序における位置関係に基づき、質問を生成することで、意味的整合性を確保し、アノテーションバイアスを低減する。
• 各シーンは固定解像度のスペクトログラム画像に変換され、FiLMのような視覚ベースのモデルとの互換性を確保する。その後、これらのモデルはAQA用に微調整される。
• データセットには1,000～50,000シーンの6つのバージョンが含まれており、1シーンあたり20～40の質問が含まれ、YES/NO、ノート特定、楽器クエリ、位置関係推論を含む9種類の質問タイプをカバーする。
• 生成過程で不適切または退化した質問が検出された場合、検証プロセスにより除外され、妥当で推論を要する質問のみが含まれる。
• 再現可能性とさらなる開発を促進するため、データ生成パイプラインはオープンソース化されている。

実験結果

リサーチクエスチョン

• RQ1 生の音声ストリームに対してスペクトログラム表現を用いることで、視覚的質問応答（VQA）で訓練されたモデルが、音声推論に効果的に適応可能かどうか。
• RQ2 ピッチ、音量、明るさ、タイミングなどの基本音源属性に対する合成的推論は、合成音声環境でどの程度モデル化可能か。
• RQ3 最新のVQAモデルの性能は、アーキテクチャを変更せずに音声専用の推論タスクにどの程度転送可能か。
• RQ4 AQAにおけるデータバイアスの影響は何か。また、CLEVRと同様に機能的プログラムに基づく質問生成によって、バイアスは軽減可能か。
• RQ5 相対的位置、数え上げ、絶対的位置などの異なる種類の音声関係性は、音声推論におけるモデル性能にどのように影響するか。

主な発見

• FiLMモデルは、7,500シーンと300,000の質問-回答ペアを含むCLEARテストセットで89.97%の精度を達成し、音声ベースの推論における優れた一般化性能を示した。
• マジョリティクラス分類器のベースライン精度はたったの7.6%であり、タスクが単なるパターンマッチングではなく、真の推論を要することを確認した。
• 機能的プログラムに基づく生成アプローチは、音源属性とその関係性に関する多段階推論を要する多様で意味的に根拠のある質問を効果的に生成した。
• データセットはYES/NO、ノート特定、楽器クエリ、位置関係推論を含む9種類の異なる質問タイプをサポートしており、推論能力の細分化された評価を可能にした。
• 初期の結果から、スペクトログラムを入力として用いることで、視覚ベースのモデルが音声推論タスクに効果的に再利用可能であることが示され、クロスモodal転送の可能性を示唆した。
• 著者らは、固定長のシーン、等しい音源数、重複のない音源、限定された楽器種別という主な制限事項を特定し、今後のバージョンでこれらを改善することで現実性と複雑性を高めることを計画している。