[論文レビュー] An Attention Mechanism for Musical Instrument Recognition

Siddharth Gururani, Mohit Sharma+1 more|arXiv (Cornell University)|Jul 9, 2019

Music and Audio Processing参考文献 39被引用数 7

ひとこと要約

本論文は、OpenMICデータセットの弱教師ありポリフォニック音声データを用いて、マルチラベル音楽楽器認識のためのアテンションメカニズムを提案する。タスクをマルチインスタンスマルチラベル学習問題として定式化することで、各楽器ごとに関連する時間領域に注目することにより、分類性能——特に再現率とF1スコア——を向上させ、ベースラインモデルと比較してより正確かつ解釈可能な予測を実現する。

ABSTRACT

While the automatic recognition of musical instruments has seen significant progress, the task is still considered hard for music featuring multiple instruments as opposed to single instrument recordings. Datasets for polyphonic instrument recognition can be categorized into roughly two categories. Some, such as MedleyDB, have strong per-frame instrument activity annotations but are usually small in size. Other, larger datasets such as OpenMIC only have weak labels, i.e., instrument presence or absence is annotated only for long snippets of a song. We explore an attention mechanism for handling weakly labeled data for multi-label instrument recognition. Attention has been found to perform well for other tasks with weakly labeled data. We compare the proposed attention model to multiple models which include a baseline binary relevance random forest, recurrent neural network, and fully connected neural networks. Our results show that incorporating attention leads to an overall improvement in classification accuracy metrics across all 20 instruments in the OpenMIC dataset. We find that attention enables models to focus on (or 'attend to') specific time segments in the audio relevant to each instrument label leading to interpretable results.

研究の動機と目的

• 微細な時間的アノテーションを欠いた弱教師ありポリフォニック音楽データセット上で、正確な楽器認識モデルを訓練する課題に対処すること。
• クラリネットやフルートのようなレア楽器を含む、マルチラベル楽器認識におけるクラス不均衡問題を克服すること。
• アテンションメカニズムを用いて各楽器ラベルごとの関連する音声セグメントを局所化することで、モデルの解釈性を向上させること。
• OpenMICデータセット上で、アテンションベースのインスタンス予測集約が、ランダムフォレスト、全結合ネットワーク、RNNといった従来のモデルを上回ることを示すこと。

提案手法

• 各音声クリップを短時間音声インスタンスの「バッグ」として扱う、マルチインスタンスマルチラベル（MIML）学習問題として楽器認識タスクを定式化する。
• 個々の時間インスタンスの関連性に応じて動的に重みを付与するアテンションメカニズムを適用し、顕著なセグメントに焦点を当てる。
• インスタンスごとの楽器存在を予測する全結合ニューラルネットワークを用い、その後に学習されたアテンション重みを用いて予測を集約する微分可能アテンション層を適用する。
• マルチラベル出力のためのシグモイド活性化関数とバイナリクロスエントロピー損失を用いて、エンドツーエンドでモデルを訓練し、最終的なバイナリ予測にはしきい値0.5を適用する。
• アテンションモデル（ATT）を、バイナリリレバランスランダムフォレスト（RF_BR）、平均プーリングを用いた全結合ネットワーク（FC_T）、および再帰ニューラルネットワーク（RNN）というベースラインと比較する。
• アテンション重みの可視化により、モデルの解釈性を評価し、アテンションが音声クリップ内の関連する楽器活動を正しく局所化しているかを検証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なディープラーニングおよび従来の機械学習ベースラインと比較して、アテンションメカニズムは弱教師ありポリフォニック音声データにおけるマルチラベル楽器認識性能を向上させるか？
• RQ2 アテンションは、クラリネットやフルートのような低頻度楽器を含むクラス不均衡問題を緩和するのを助けるか？
• RQ3 アテンションメカニズムは、音声クリップ内の関連する時間セグメントをどの程度正確に局所化できるか、モデルの解釈性を向上させるか？
• RQ4 アテンションベースのモデルは、インスタンスレベルの予測を集約する際に平均プーリング（FC_T）や再帰構造（RNN）を用いたモデルと比較して、性能に優れているか？

主な発見

• アテンションメカニズムは、OpenMICデータセットの全20楽器において、再現率とF1スコアを顕著に向上させ、特にクラリネット、フルート、オルガンのようにクラス不均衡が顕著な楽器に大きな利益をもたらす。
• アテンションモデル（ATT）は、ほぼすべての楽器においてバイナリリレバランスランダムフォレスト（RF_BR）ベースラインをF1スコアで上回り、特に正例と負例の比率が不均衡な楽器で顕著な優位性を示す。
• ATTは平均プーリングを用いた全結合ネットワーク（FC_T）よりも優れた性能を達成しており、インスタンスレベルの予測を集約する際に、単純な平均化よりもアテンションベースの集約がより効果的であることを示している。
• RNNベースラインはRF_BRを上回っているが、これはインスタンス系列における時間的相関をモデル化することで性能が向上することを示唆している。一方で、ATTは全体の精度においてRNNを上回っている。
• アテンション重みの可視化により、モデルが音声クリップ内の楽器活動を正しく局所化していることが確認された。例えば、ヴァイオリンが目立って演奏されている時期にはヴァイオリンに注目し、ボーカルが存在する際にはボーカルに注目している。
• 本モデルは軽量なアーキテクチャを維持しながら、弱教師あり楽器認識分野で最先端の性能を達成しており、実世界のMIR応用におけるスケーラビリティと実用性を示唆している。