[논문 리뷰] A Survey on Machine Learning Techniques for Auto Labeling of Video, Audio, and Text Data

Shikun Zhang, Omid Jafari외 1명|arXiv (Cornell University)|2021. 09. 08.

Music and Audio Processing참고 문헌 89인용 수 27

한 줄 요약

비디오, 오디오, 텍스트 데이터 전반에 걸친 최적화된 데이터 주석 및 라벨링 방법에 대한 검토로, 비지도 학습, 반지도 학습, 지도 학습, 능동 학습, 전이 학습 전략은 물론 주석 도구를 다룹니다.

ABSTRACT

Machine learning has been utilized to perform tasks in many different domains such as classification, object detection, image segmentation and natural language analysis. Data labeling has always been one of the most important tasks in machine learning. However, labeling large amounts of data increases the monetary cost in machine learning. As a result, researchers started to focus on reducing data annotation and labeling costs. Transfer learning was designed and widely used as an efficient approach that can reasonably reduce the negative impact of limited data, which in turn, reduces the data preparation cost. Even transferring previous knowledge from a source domain reduces the amount of data needed in a target domain. However, large amounts of annotated data are still demanded to build robust models and improve the prediction accuracy of the model. Therefore, researchers started to pay more attention on auto annotation and labeling. In this survey paper, we provide a review of previous techniques that focuses on optimized data annotation and labeling for video, audio, and text data.

연구 동기 및 목표

• 감독 학습에서 데이터 라벨링의 중요성과 비용 및 자동 주석의 동기에 대해 설명합니다.
• 비디오, 오디오, 텍스트 도메인 전반에서 최적화된 주석 접근법을 조사하고 분류합니다.
• 자동 또는 반자동 라벨링을 지원하는 기존 주석 도구와 프레임워크를 요약합니다.
• 이미지 중심 설문과의 차이점을 강조하고 향후 연구를 위한 격차를 식별합니다.

제안 방법

• 비디오 데이터의 자동화 및 반자동 주석 기술에 관한 문헌을 검토하되, 비지도 학습, 반지도 학습, 지도 학습, 능동 학습, 전이 학습, 다중 레이블 접근법을 포함합니다.
• 오디오 데이터 주석에 관한 문헌을 검토하되, 비지도 특징 학습, 반지도 및 지도 태깅, 다이어라이제이션을 위한 능동 학습, 다중 레이블 방법을 강조합니다.
• 자연어 텍스트 데이터 주석에 관한 문헌을 검토하되, 자동/반자동 전략을 활용한 명명 엔터티 인식(NER), 텍스트 분류, 품사 태깅에 초점을 맞춥니다.
• 비디오, 오디오, 텍스트 데이터에 사용 가능한 주석 도구를 요약하고 그 기능 및 배치 맥락을 논의합니다.
• 연구 결과를 구조화된 분류법으로 정리하고 향후 과제를 제시합니다.

실험 결과

연구 질문

• RQ1 비디오, 오디오, 텍스트 데이터의 데이터 주석 최적화를 위해 사용되는 주요 전략은 무엇인가?
• RQ2 비지도 학습, 반지도 학습, 지도 학습, 능동 학습 및 전이 학습 접근 방식은 도메인 간에 어떻게 비교되는가?
• RQ3 어떤 주석 도구가 존재하며 자동화 또는 반자동 라벨링을 어떻게 지원하는가?
• RQ4 레이블링 비용을 더욱 줄이고 견고성을 향상시키기 위한 제안된 향후 방향은 무엇인가?

주요 결과

• 비디오 데이터 최적화는 학습 패러다임(비지도 학습, 반지도 학습, 지도 학습, 능동 학습, 전이 학습)으로 구분되며 다중 레이블 및 그래프 기반 방법으로도 구분된다.
• 오디오 데이터 주석은 비지도 특징 학습, 반지도 및 지도 태깅, 다이어라이제이션을 위한 능동 학습, 태그 상관 관계를 포착하기 위한 다중 레이블 접근법을 활용한다.
• 텍스트 데이터 주석은 NER를 위한 사전 주석, 반자동 라벨링, 개선된 정확도를 위한 도메인 특화 분류 및 임베딩 전략을 포함한다.
• 비디오, 오디오, 텍스트에 대해 자동 주석, 반자동 라벨링 또는 클라우드 기반 주석 서비스를 가능하게 하는 다수의 실용적 주석 도구가 존재한다.
• 이 조사에서는 능동 학습과 전이 학습의 결합 가능성을 강조하고 향후 연구에서 심층 강화 학습 및 이질적인 다중 모달 데이터의 기회에 주목한다.