[論文レビュー] NELS -- Never-Ending Learner of Sounds

Benjamin Elizalde, Rohan Badlani+3 more|arXiv (Cornell University)|Jan 17, 2018

Music and Audio Processing参考文献 16被引用数 5

ひとこと要約

NELSは、YouTubeの音声とメタデータを収集することで、継続的かつスケーラブルなシステムとして音声と言語の関連を学習する。自己教師あり学習と人間のフィードバックを活用し、正解ラベルが存在しない大規模な評価においても安定した性能向上を達成する。検索クエリを人間評価の代理として用いることで、正解ラベルなしに音声認識性能が向上する。

ABSTRACT

Sounds are essential to how humans perceive and interact with the world and are captured in recordings and shared on the Internet on a minute-by-minute basis. These recordings, which are predominantly videos, constitute the largest archive of sounds we know. However, most of these recordings have undescribed content making necessary methods for automatic sound analysis, indexing and retrieval. These methods have to address multiple challenges, such as the relation between sounds and language, numerous and diverse sound classes, and large-scale evaluation. We propose a system that continuously learns from the web relations between sounds and language, improves sound recognition models over time and evaluates its learning competency in the large-scale without references. We introduce the Never-Ending Learner of Sounds (NELS), a project for continuously learning of sounds and their associated knowledge, available on line in nels.cs.cmu.edu

研究の動機と目的

• Web音声を用いて時間の経過とともに適応する大規模かつ継続的な音声学習システムの不足を補う。
• 教師ありデータセットとウェブ音声の両方を活用し、半教師ありの方法で音声認識の頑健性を向上させる。
• 正解ラベルが存在しない状況における音声認識のスケーラブルな評価手法を開発する。
• 音声と言語の関係、特に形容詞＋名詞および動詞＋名詞のペアによる音声記述の関係を調査する。
• 研究および応用用途向けに、公開可能で継続的に更新される音声インデキシングおよび検索システムを構築する。

提案手法

• NELSは、音声イベントラベルを検索クエリとして用い、YouTubeを継続的にクローリングする。キーワードとして「<音声> サウンド」を組み合わせることで、検索の関連性を向上させる。
• Pafy APIを介してメタデータ（タイトル、説明、URL）を抽出し、2.3秒の音声セグメントをインデキシングする。
• 音声認識モデルは、教師ありデータセット（例：US8K）とウェブ音声の混合データで学習させ、自己学習により性能を向上させる。
• NELSのウェブサイトを通じて人間のフィードバックを収集し、インデキシングの正確性を評価し、モデルの最適化を支援する。
• 性能評価は、検索クエリの結果を弱い基準として用いる。関連性の高いクエリが、実際の音声内容を反映していると仮定する。
• 依存関係パス特徴量とルールベース分類器を用いて、テキストから音声の記述語とオントロロジー的関係を発見する。

実験結果

リサーチクエスチョン

• RQ1 未加工のウェブ音声から継続的に音声表現を学習し、時間の経過とともに性能を向上させることができるか？
• RQ2 検索クエリ（例：「エアコン サウンド」）は、人間がアノテートした正解ラベルの代理として、音声認識の評価にどの程度有効か？
• RQ3 形容詞＋名詞および動詞＋名詞のペアは、音声イベントの音響的差異をどの程度信頼性高く記述できるか？
• RQ4 学習データとテストデータの分布が異なる状況下で、ウェブ音声からの自己教師あり学習が、認識性能をどの程度向上できるか？
• RQ5 「Xのサウンド」といった言語的手がかりを用いて、スケール的に有効な音声イベントラベルを自動で発見できるか？

主な発見

• 2017年10月20日までに、600種類の音声イベントラベルを用いて、300時間以上の音声（400万個の動画セグメント）をインデキシングした。
• 20万個のラベルなしYouTubeセグメントを再学習した結果、データ分布の不一致にもかかわらず、全体の精度が1.4%絶対値で向上した。
• 検索クエリを基準とした性能トレンドは、人間のフィードバックと10%以内の誤差で一致しており、クエリが下限評価指標として有効である可能性を示唆した。
• 「Xのサウンド」というパターンとルールベースフィルタリングを用いて、10万件を超える有効な音声イベントフレーズを発見した。
• 形容詞＋名詞および動詞＋名詞のペアは、音声イベントごとに一貫した、ただし主観的な関連性を示し、明確な音響的特徴を記述していた。
• 正解ラベルが存在しない教師ありデータに依存せず、ウェブソースから大規模かつ継続的な音声知識の学習が可能であることを実証した。