[논문 리뷰] Cetacean Translation Initiative: a roadmap to deciphering the communication of sperm whales

Jacob Andreas, Gašper Beguš외 17명|arXiv (Cornell University)|2021. 04. 17.

Marine animal studies overview인용 수 4

한 줄 요약

이 논문은 다학제적 접근을 통해 대량의 생물음향, 행동 및 환경 데이터를 기반으로 고래의 의사소통을 해독하기 위한 Cetacean Translation Initiative를 제안한다. 고래의 고유한 클릭 기반 음성 표현에 적합하게 수정된 기존의 자연어 처리(NLP) 및 음성 처리 기법을 활용하여, 이니셔티브는 이산적 의사소통 단위와 언어 유사 구조를 식별하고자 하며, 상호작용형 재생 실험을 통해 검증한다. 이는 비인간 동물의 의사소통 연구에 광범위한 영향을 미칠 것이다.

ABSTRACT

The past decade has witnessed a groundbreaking rise of machine learning for human language analysis, with current methods capable of automatically accurately recovering various aspects of syntax and semantics - including sentence structure and grounded word meaning - from large data collections. Recent research showed the promise of such tools for analyzing acoustic communication in nonhuman species. We posit that machine learning will be the cornerstone of future collection, processing, and analysis of multimodal streams of data in animal communication studies, including bioacoustic, behavioral, biological, and environmental data. Cetaceans are unique non-human model species as they possess sophisticated acoustic communications, but utilize a very different encoding system that evolved in an aquatic rather than terrestrial medium. Sperm whales, in particular, with their highly-developed neuroanatomical features, cognitive abilities, social structures, and discrete click-based encoding make for an excellent starting point for advanced machine learning tools that can be applied to other animals in the future. This paper details a roadmap toward this goal based on currently existing technology and multidisciplinary scientific community effort. We outline the key elements required for the collection and processing of massive bioacoustic data of sperm whales, detecting their basic communication units and language-like higher-level structures, and validating these models through interactive playback experiments. The technological capabilities developed by such an undertaking are likely to yield cross-applications and advancements in broader communities investigating non-human communication and animal behavioral research.

연구 동기 및 목표

• 기계학습과 다중모달 데이터를 활용하여 고래의 복잡한 의사소통을 해독하기 위한 체계적 프레임워크를 개발하는 것.
• 고도로 발전된 신호 처리 기법을 사용하여 고래 클릭에서 이산적 음성 단위와 고차원적 문법적 구조를 식별하는 것.
• 실제 고래 무리와의 상호작용형 재생 실험을 통해 발견된 의사소통 패턴을 검증하는 것.
• 다른 비인간 동물의 의사소통 연구에 응용 가능한 기술 플랫폼을 구축하는 것.
• 생물음향학적, 행동학적, 생물학적, 환경적 데이터를 통합하여 통합적인 분석 파이프라인을 구축하는 것.

제안 방법

• 최신 기계학습 모델, 특히 자연어 처리(NLP) 분야의 기법을 활용하여 대규모 고래 음성 데이터를 분석하는 것.
• 음성 처리 기법을 사용하여 연속적인 음향 기록에서 개별 클릭과 코다를 탐지하고 분할하는 것.
• 의사소통 시퀀스 내의 의미적 및 문법적 구조를 식별하기 위해 표현 학습 모델을 개발하는 것.
• 행동 및 환경적 맥락 데이터를 통합하여 음향 패턴을 생태적 및 사회적 맥락에 뿌리내리게 하는 것.
• 음성의 의미와 사회적 반응에 대한 가설을 검증하기 위해 통제된 재생 실험을 기획하고 수행하는 것.
• 자율적인 해양 로봇 및 무인 해양 시스템을 활용하여 자연 서식지에서 장기간 비침습적 데이터 수집을 수행하는 것.

실험 결과

연구 질문

• RQ1 고래 음성에서의 의사소통 기본 단위는 무엇이며, 어떻게 구조화된 시퀀스로 조합되는가?
• RQ2 기계학습 모델은 인간 언어의 구조와 유사한 문법 유사 패턴을 고래 클릭에서 탐지할 수 있는가?
• RQ3 고래의 사회적 및 환경적 맥락은 음성 신호의 생성과 해석에 어떤 영향을 미치는가?
• RQ4 인공지능이 고래의 의미 있는 음성 교환을 얼마나 정확하게 예측하거나 생성할 수 있는가?
• RQ5 다중모달 데이터 통합은 의사소통 해독 모델의 정확도 향상에 어떤 역할을 하는가?

주요 결과

• 논문은 기존의 기계학습 및 음성 처리 기술을 활용하여 고래 의사소통 해독을 위한 기초적 로드맵을 수립한다.
• 고래의 클릭 기반 의사소통은 인간 언어와는 다를지라도, 계산적 분석에 적합한 구조적 복잡성을 보인다.
• 행동 및 환경 데이터의 통합은 음향 패턴을 기능적 의미에 뿌리내리게 하는 데 핵심적이다.
• 상호작용형 재생 실험은 가설적인 의사소통 단위를 검증하는 주요 수단으로 제안된다.
• 개발된 기술 인프라는 다른 비인간 동물의 의사소통 시스템 연구에 응용 가능할 것으로 기대된다.
• 이니셔티브는 AI, 해양 생물학, 음향학, 로봇공학 분야 간의 다학제적 협업이 목표 달성에 필수적임을 강조한다.