[논문 리뷰] Toward Transdisciplinary Approaches to Audio Deepfake Discernment

Vandana P. Janeja, Christine Mallinson|arXiv (Cornell University)|2024. 11. 08.

Diverse Musicological Studies인용 수 11

한 줄 요약

논문은 전문가-루프 및 학제간 방법을 통해 오디오 딥페이크 탐지를 개선하기 위해 언어학과 AI의 통합을 옹호합니다.

ABSTRACT

This perspective calls for scholars across disciplines to address the challenge of audio deepfake detection and discernment through an interdisciplinary lens across Artificial Intelligence methods and linguistics. With an avalanche of tools for the generation of realistic-sounding fake speech on one side, the detection of deepfakes is lagging on the other. Particularly hindering audio deepfake detection is the fact that current AI models lack a full understanding of the inherent variability of language and the complexities and uniqueness of human speech. We see the promising potential in recent transdisciplinary work that incorporates linguistic knowledge into AI approaches to provide pathways for expert-in-the-loop and to move beyond expert agnostic AI-based methods for more robust and comprehensive deepfake detection.

연구 동기 및 목표

• AI와 언어학 간의 교차학문적 반응을 오디오 딥페이크 탐지에 촉진한다.
• 언어 변이성과 인간 음성의 복잡성을 포착하는 데 있어 현재 AI 모델의 한계를 강조한다.
• AI에 언어학 지식을 도입하여 전문가-인-루프 탐지를 가능하게 할 것을 주장한다.

제안 방법

• 오디오 딥페이크 구별을 위한 AI 방법과 언어학을 연결하는 초학제적 시각을 제안한다.
• 전문가 무관형 AI 접근을 넘어 언어학 지식의 활용을 옹호한다.
• AI 기반 탐지 시스템에 인간 전문성을 통합하기 위한 경로를 제시한다.

실험 결과

연구 질문

• RQ1 AI와 언어학 간의 초학제적 협력이 오디오 딥페이크 구별력을 어떻게 향상시킬 수 있는가?
• RQ2 합성 음성의 다양성에 대한 강건성을 향상시키기 위해 어떤 언어학적 통찰을 AI 모델에 포함시킬 수 있는가?
• RQ3 오디오 딥페이크 탐지에서 전문가-인-루프 설계의 효과적인 경로는 무엇인가?

주요 결과

• 현재의 AI 모델이 언어 변이성과 인간 음성의 복잡성을 충분히 이해하지 못한다고 주장한다.
• AI에 언어학 지식을 도입하여 탐지의 강건성을 향상시킬 수 있는 가능성을 강조한다.
• 전문가-인-루프 접근을 가능하게 하고 전문가에 의존하지 않는 AI 방법을 넘어설 수 있도록 하는 초학제적 연구를 유망하다고 식별한다.