[논문 리뷰] AI video editing tools. What editors want and how far is AI from delivering?

Than Htut Soe|arXiv (Cornell University)|2021. 09. 16.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 전문 영상 편집자가 요구하는 자동화 필요성과 현재 AI 영상 편집 도구의 기능 간 격차를 조사한다. 13명의 편집자들을 대상으로 한 설문 조사와 AI 문헌 검토를 통해 영상 로깅, 파일 정리, 미학적 향상, 콘텐츠 제안 등의 분야에서 충족되지 않은 요구사항을 밝혀내며, 향후 주요 방향으로 음성 인터랙션과 개인화를 강조한다. 또한 대부분의 기존 도구가 범위가 좁고 기계 학습이 아닌 히ュ리스틱 기반임을 지적한다.

ABSTRACT

Video editing can be a very tedious task, so unsurprisingly Artificial Intelligence has been increasingly used to streamline the workflow or automate away tedious tasks. However, it is very difficult to get an overview of what intelligent video editing tools are in the research literature and needs for automation from the video editors. So, we identified the field of intelligent video editing tools in research, and we survey the opinions of professional video editors. We have also summarized current state of the art in artificial intelligence research with the intention of identifying what are the possibilities and current technical limits towards truly intelligent video editing tools. The findings contribute towards understanding of the field of intelligent video editing tools, highlights unaddressed automation needs by the survey and provides general suggestions for further research in intelligent video editing tools.

연구 동기 및 목표

• 실제 워크플로우에서 전문 영상 편집자의 자동화 필요성을 특정하고 분석하기.
• 이러한 전문가 기대에 비추어 현재 최첨단 AI 기반 영상 편집 도구의 상태 평가하기.
• 영상 로깅, 파일 정리, 미학적 품질 조정과 같은 지능형 영상 편집 분야에서 아직 탐색되지 않은 영역 강조하기.
• 편집자 피드백과 AI 기술 능력에 기반해 향후 연구 방향, 특히 음성 기반 인터랙션과 개인화 제안하기.
• 영상 편집, 인간-컴퓨터 상호작용, AI/기계 학습 연구 간의 다학제적 격차 메우기.

제안 방법

• 1년에서 22년의 경력이 있는 13명의 전문 영상 편집자들을 대상으로 설문 조사를 실시해 자동화 필요성과 기대 수준 평가하기.
• 설문 응답에 대한 주제 분석을 수행해 원하는 자동화 작업과 상호작용 선호도 분류하기.
• 지능형 영상 편집 도구 및 영상 처리 분야의 AI 기법에 관한 기존 문헌 검토하기. 특히 영상 편집에 특화된 응용에 중점을 두고.
• 설문 조사에서 도출된 자동화 필요성과 현재의 AI 기법(예: 음성 인식, 행동 탐지, 영상 추론) 간의 매핑 수행하기.
• 음성 기반 상호작용과 개인화의 실현 가능성 평가하기. 현재 도구에서 이 기능이 부재함을 주목하기.
• 기존 도구에서 히ュ리스틱 기반 시스템과 향후 발전을 위한 기계 학습 및 신경망의 잠재력 간 대비 분석하기.

실험 결과

연구 질문

• RQ1 전문 편집자가 자동화를 원하는 특정 영상 편집 작업은 무엇이며, 이러한 요구사항은 현재 AI 도구의 기능과 어떻게 다를까?
• RQ2 편집자들은 AI가 워크플로우 간소화에 기여하는 데 있어 상호작용 방식(예: 음성, 터치, 마우스)에 대해 어떻게 평가하는가?
• RQ3 현재 지능형 영상 편집 도구가 실제 편집 요구사항을 충족하는 데 있어 핵심적인 기술적 및 설계적 제약은 무엇인가?
• RQ4 음성 인식, 영상 추론, 개인화와 같은 AI 기법이 영상 편집 자동화를 어떻게 향상시킬 수 있는가?
• RQ5 AI의 발전에도 불구하고 영상 편집 도구에 기계 학습 통합이 아직 제한적인 이유는 무엇인가?

주요 결과

• 편집자들은 주로 핵심 작업이 아닌 작업, 즉 파일 및 미디어 정리, 미학적 품질 향상, 콘텐츠 제안에 자동화를 자주 요구하지만, 이러한 영역은 현재의 AI 도구에서 거의 다루어지지 않고 있다.
• 음성 기반 상호작용은 편집자들 사이에서 가장 선호되는 상호작용 방식이지만, 현재 존재하는 도구 중 음성 입력을 지원하는 것은 단 한 개에 불과하여 심각한 연구 격차가 있음을 시사한다.
• 대부분의 지능형 영상 편집 도구는 특정 영상 유형(예: 대화 중심 또는 설명 영상)에만 특화되어 있어 다양한 편집 워크플로우에 일반화하기 어려운 한계가 있다.
• 현재 AI 도구는 기계 학습보다 히ュ리스틱 기반 시스템에 크게 의존하고 있어 편집 과정의 적응성과 개인화 능력이 제한된다.
• 시각, NLP, 음성 처리 분야에서 최첨단 AI의 능력과 이를 실질적이고 사용자 중심의 영상 편집 도구에 통합하는 데의 격차가 크다.
• 사용자 편집 패턴과 영상 출력을 기반으로 학습하는 개인화 기능은 설문 조사에서 반복적으로 제기된 요구사항이지만, 기존 문헌과 도구에서는 전혀 부재해 있다.