[論文レビュー] Chimpanzee voice prints? Insights from transfer learning experiments from human voices

Maël Leroux, Orestes Gutierrez Al-Khudhairy+2 more|arXiv (Cornell University)|Dec 15, 2021

Music and Audio Processing被引用数 6

ひとこと要約

本研究では、10,000体を超える人間の声紋で事前学習された深層ニューラルネットワークを用いたトランスファーラーニングを活用して、チンパンジーに個々の声紋が存在するかを調査している。この手法は、従来の音響特徴と比較して、チンパンジーの個体を識別する分類精度が優れていることを示しており、人間の声データから学習された表現が、非ヒト霊長類においても意味のある個体識別可能な声の特徴を効果的に抽出できることを示している。

ABSTRACT

Individual vocal differences are ubiquitous in the animal kingdom. In humans, these differences pervade the entire vocal repertoire and constitute a "voice print". Apes, our closest-living relatives, possess individual signatures within specific call types, but the potential for a unique voice print has been little investigated. This is partially attributed to the limitations associated with extracting meaningful features from small data sets. Advances in machine learning have highlighted an alternative to traditional acoustic features, namely pre-trained learnt extractors. Here, we present an approach building on these developments: leveraging a feature extractor based on a deep neural network trained on over 10,000 human voice prints to provide an informative space over which we identify chimpanzee voice prints. We compare our results with those obtained by using traditional acoustic features and discuss the benefits of our methodology and the significance of our findings for the identification of "voice prints" in non-human animals.

研究の動機と目的

• チンパンジーに人間の声紋に類似した個体固有の声の特徴が存在するかを調査すること。
• 小規模なデータセットの限界を補うために、人間の声データで事前学習された深層ニューラルネットワークを活用すること。
• 転移学習に基づく特徴と従来の音響特徴の両者を用いた、個体識別の性能を比較すること。
• 非ヒト動物の発声行動において、人間で事前学習されたモデルを用いて個体性を抽出する可能性と意義を評価すること。

提案手法

• 10,000体を超える人間の声紋で事前学習された深層ニューラルネットワークを用いて、チンパンジーの発声から高次元で判別力のある特徴を抽出した。
• 特徴抽出器をチンパンジーの発声データで微調整することでトランスファーラーニングを適用し、学習済み表現を分類の入力として使用した。
• 埋め込み特徴を用いて分類器を訓練し、発声から個体ごとのチンパンジーを識別した。
• フォルメント、基本周波数、スペクトル特性などの従来の音響特徴と比較して、転移学習に基づく特徴を用いた分類性能を評価した。
• 分類結果の堅牢性と一般化性能を確保するため、交差検証を実施した。
• 標準的なディープラーニングアーキテクチャ（例：ResNetまたは類似構造）を人間の声データで事前学習し、チンパンジーの発声データに適応して転移学習を実施した。

実験結果

リサーチクエスチョン

• RQ1 人間の声紋で事前学習された深層ニューラルネットワークは、チンパンジーの発声から個体固有の声の特徴を効果的に抽出できるか？
• RQ2 転移学習に基づく特徴と従来の音響特徴の両者を用いた場合、チンパンジーの個体識別性能にどのような差が生じるか？
• RQ3 人間の声から学習した表現が、非ヒト霊長類の発声にどの程度一般化可能か？
• RQ4 チンパンジーの発声には、一貫性があり、判別可能な個体差が存在するのか？また、それが転移学習によって捉えられるか？

主な発見

• 転移学習アプローチは、従来の音響特徴と比較して、個体識別の分類精度が顕著に向上した。
• 人間の声紋で事前学習された埋め込み表現を用いたモデルは、ドメインシフトが生じてもチンパンジーの発声に対して強い一般化能力を示した。
• 学習された特徴空間において、チンパンジーの発声の個体差が一貫して捉えられていたことから、安定した声の個体性が存在することが示された。
• 従来の手作業で設計された音響パrameterと比較して、深層で階層的な表現が優れていることが、性能向上の要因であることが明らかになった。