[論文レビュー] Synergy between human and machine approaches to sound/scene recognition and processing: An overview of ICASSP special session

Laurie M. Heller, Benjamin Elizalde+2 more|arXiv (Cornell University)|Feb 20, 2023

Music and Audio Processing被引用数 10

ひとこと要約

この論文は ICASSP 2023 の特別セッションで紹介された人間–機械のハイブリッドアプローチを要約し、意味論的、知覚的、認知的な人間の知識が機械の聴取にどのように情報を与え、逆に機械聴取がどのように人間の聴覚研究に還元されるかを検討する。

ABSTRACT

Machine Listening, as usually formalized, attempts to perform a task that is, from our perspective, fundamentally human-performable, and performed by humans. Current automated models of Machine Listening vary from purely data-driven approaches to approaches imitating human systems. In recent years, the most promising approaches have been hybrid in that they have used data-driven approaches informed by models of the perceptual, cognitive, and semantic processes of the human system. Not only does the guidance provided by models of human perception and domain knowledge enable better, and more generalizable Machine Listening, in the converse, the lessons learned from these models may be used to verify or improve our models of human perception themselves. This paper summarizes advances in the development of such hybrid approaches, ranging from Machine Listening models that are informed by models of peripheral (human) auditory processes, to those that employ or derive semantic information encoded in relations between sounds. The research described herein was presented in a special session on "Synergy between human and machine approaches to sound/scene recognition and processing" at the 2023 ICASSP meeting.

研究の動機と目的

• 人間の知覚、認知、意味論が機械聴取を導き、一般化と効率を向上させる方法を動機づける。
• 人間中心の知識を取り入れたデータ駆動型ハイブリッドアプローチを調査する。
• 機械聴取が人間の聴覚研究を知らせ、検証する方法を探る。
• 音理解における意味論的および知覚情報の活用の利点と課題を特定する。

提案手法

• 音/風景認識のハイブリッドアプローチに関する ICASSP 2023 の特別セッションの発見を統合する。
• 理解を深めるための意味論/知覚分析と、人間の聴取を評価するデータ駆動モデルという2つの主要なハイブリッドパラダイムを論じる。
• 意味表現とオントロジーがモデルを知らせる例を示す（例：SemDNN、オントロジーベースのGCN）と、知覚指標が合成と評価を導く例を示す。
• 話者認証と音響一致における機械と人間の聴取の比較研究を強調する。
• ハイブリッド手法の利点と今後の方向性について結論を提示する。

実験結果

リサーチクエスチョン

• RQ1 人間の意味論的および知覚的知識を機械聴取モデルに組み込むことの利点と限界は何か？
• RQ2 意味埋め込みとオントロジーは音響イベント認識と合成タスクをどのように改善できるか？
• RQ3 データ駆動モデルは人間の聴取結果を予測または評価できる程度はどれくらいか？
• RQ4 知覚ベースの指標を機械聴取の改善に活用する際の課題は何か？

主な発見

• 意味情報を用いたハイブリッドアプローチは、音の意味ラベリングと非類似性予測を改善できる。
• ニューラルネットワークにおけるオントロジーは、弱いラベル付けされた音響イベント分類を必ずしも改善しない。
• 知覚分析は、ワンショット検証において機械の話者埋め込みを人間の判断と一致させる。
• 知覚損失関数は、ターゲット音により近い音声合成を導くことができ、学習時間を増やさずに済む。
• データ駆動モデルは、人間の音声知覚の主要な要因を特定し、中周波数の聴覚の重要性を強調できる。
• 聴覚知覚の計算モデルは、HRTFおよび空間オーディオ文脈で評価と個別化を支援できる。