[論文レビュー] An extensible cluster-graph taxonomy for open set sound scene analysis

Helen L. Bear, Emmanouil Benetos|arXiv (Cornell University)|Sep 26, 2018

Music and Audio Processing参考文献 17被引用数 4

ひとこと要約

本稿では、動的ラベル拡張を可能にし、重複を回避し、複数の視点からのラベリングを可能にする拡張可能でクラスタ・グラフに基づく分類体系を提案する。ラベルを再利用可能で分割可能なクラスタとして構造化することで、データセット間で一貫性があり相互運用可能なラベリングを実現する。DCASEチャレンジのラベルを統合することで、130種類以上の音響記述子を含む一貫性があり重複のない分類体系に統合した。

ABSTRACT

We present a new extensible and divisible taxonomy for open set sound scene analysis. This new model allows complex scene analysis with tangible descriptors and perception labels. Its novel structure is a cluster graph such that each cluster (or subset) can stand alone for targeted analyses such as office sound event detection, whilst maintaining integrity over the whole graph (superset) of labels. The key design benefit is its extensibility as new labels are needed during new data capture. Furthermore, datasets which use the same taxonomy are easily augmented, saving future data collection effort. We balance the details needed for complex scene analysis with avoiding 'the taxonomy of everything' with our framework to ensure no duplicity in the superset of labels and demonstrate this with DCASE challenge classifications.

研究の動機と目的

• データ共有や再利用を妨げる、再利用可能で拡張可能な分類体系の欠如を解消すること。
• 閉じた分類の制限を超えて、複雑で現実的ないくつかのシーンに対応するオープンセットラベリングを可能にすること。
• グラフベースの分類体系にラベルを整理することで、データセット間でのラベルの重複を防ぎ、一貫性を確保すること。
• 下位から上位へのラベル作成と上位から下位へのラベル作成の両方をサポートし、研究者が共同でラベルセットを構築または拡張できるようにすること。
• DCASEチャレンジのような多様なデータセットを、共通で拡張可能な分類体系に統一することで、データセットの拡張と相互運用性を促進すること。

提案手法

• 各クラスタ（ラベルの部分集合）が独立して機能しつつも、全体のグラフ内での整合性を保つことができるクラスタ・グラフ分類体系を設計する。
• ラベル間の関係をグラフ構造で表現することで、階層的制約なしに複数の視点（例：環境、出来事、知覚）からの記述子を可能にする。
• 2013年から2018年までの複数のDCASEチャレンジからのラベルセットを統合するフレームワークを適用し、意味的正規化によって同音異義語や類義語を解決する。
• イベントとシーンのラベルを段階的に統合し、重複を削除した上で、環境（en）、出来事（ev）、文脈（c）の3つのコンponentsにサブセット化することで、統一されたラベルセットを構築する。
• 既存のオントロジーと同義語辞書を活用することで、誤った名称を回避し、ラベルクラスタ間での意味的整合性を確保する。
• データセットへのリンクを統合的に管理するオンラインレジストリを提供することで、分類体系の採用と相互運用性を促進する。

実験結果

リサーチクエスチョン

• RQ1 音声シーン分析のための分類体系は、既存のラベルセットに影響を与えずに、新しいラベルを追加できるようにどのように拡張可能にすることができるか？
• RQ2 音声シーンラベリングにおいて、モジュール性（サブ問題用）とグローバル整合性（上位集合の整合性）の両方を実現するための構造的設計は何か？
• RQ3 多様なデータセットやラベリング手法にわたるラベルの重複と意味的曖昧さは、どのように最小限に抑えることができるか？
• RQ4 DCASEチャレンジのデータセットのような既存のデータセットを、1つの非冗長分類体系に統合できる範囲はどの程度か？
• RQ5 グラフベースの分類体系は、下位から上位、上位から下位の両方のラベル作成を可能にするとともに、データセット間でのデータ拡張を可能にするか？

主な発見

• フレームワークにより、DCASEチャレンジ（2013–2018年）から130種類以上の固有の音響記述子が1つの非冗長分類体系に統合された。
• 最終的な分類体系には、87の出来事ラベル（ev）、26のシーンラベル（T_scenes）、3つの文脈ラベル（c）が含まれており、明確な分離と重複なしである。
• 「人々が歩いている」や「ガラスがきらきらと鳴る」のような複合ラベルは、原子的要素（例：「人々」「歩いている」「ガラス」「きらきらと鳴る」）に分解され、重複を防いだ。
• クラスタ・グラフ構造により、任意のラベルサブセットを独立して使用可能である（例：オフィス音声イベント検出）。
• 複数の記述子（例：物理的および知覚的属性）を1つの出来事に対してサポートすることで、人間と同様のクロス分類が可能になった。
• 今後のデータセットにおけるアノテーションの負担を軽減するため、既存のラベルを再利用可能にした。長期的には、データ再利用と拡張の恩恵が初期の構築コストを上回る。