[논문 리뷰] Applying Cooperative Machine Learning to Speed Up the Annotation of Social Signals in Large Multi-modal Corpora

Johannes Wagner, Tobias Baur외 4명|arXiv (Cornell University)|2018. 02. 07.

Anomaly Detection Techniques and Applications참고 문헌 60인용 수 13

한 줄 요약

이 논문은 대규모 다중 모odal 코퍼스에서 사회적 신호를 보다 빠르게 애너테이션하기 위해 인간 지능과 기계 지능을 통합하는 협동 기계 학습(CML) 프레임워크를 제안한다. 반복적으로 고신뢰도 예측으로 훈련하고 세션에 의존하지 않는 모델을 사용함으로써, 수동 레이블링 노력의 5/8(6.6시간 작업에서 약 2.5시간 절감)를 줄였다. 실제 음성 필러 탐지 작업을 통해 검증되었으며, 80%의 인식 정확도를 달성했다.

ABSTRACT

Scientific disciplines, such as Behavioural Psychology, Anthropology and recently Social Signal Processing are concerned with the systematic exploration of human behaviour. A typical work-flow includes the manual annotation (also called coding) of social signals in multi-modal corpora of considerable size. For the involved annotators this defines an exhausting and time-consuming task. In the article at hand we present a novel method and also provide the tools to speed up the coding procedure. To this end, we suggest and evaluate the use of Cooperative Machine Learning (CML) techniques to reduce manual labelling efforts by combining the power of computational capabilities and human intelligence. The proposed CML strategy starts with a small number of labelled instances and concentrates on predicting local parts first. Afterwards, a session-independent classification model is created to finish the remaining parts of the database. Confidence values are computed to guide the manual inspection and correction of the predictions. To bring the proposed approach into application we introduce NOVA - an open-source tool for collaborative and machine-aided annotations. In particular, it gives labellers immediate access to CML strategies and directly provides visual feedback on the results. Our experiments show that the proposed method has the potential to significantly reduce human labelling efforts.

연구 동기 및 목표

• 대규모 다중 모달 코퍼스에서 사회적 신호의 수동 애너테이션에 소요되는 시간과 비용을 줄이기 위해.
• 고성능 기계 학습 모델을 훈련하기 위해 필수적인 대규모 자연적 행동 데이터셋을 구축하는 데 도전하는 데에.
• 수반되는 반복적 레이블링을 최소화하는 협업 워크플로우를 통해 인간 지능과 기계 학습을 통합하기 위해.
• 연구자들이 사용할 수 있는 실시간 협업 애너테이션을 지원하는 실용적이고 오픈소스 도구(NOVA)를 개발하기 위해.

제안 방법

• CML 접근법은 초기 분류기를 훈련하기 위해 소량의 수동으로 레이블링된 인스턴스에서 시작한다.
• 신뢰도 점수를 활용해 불확실한 예측을 우선적으로 인간 검토 대상으로 선정하기 위해 먼저 국소 신호 부분을 예측하는 데 집중한다.
• 다듬어진 데이터를 기반으로 세션에 의존하지 않는 분류 모델을 훈련하여 코퍼스의 나머지 부분을 레이블링한다.
• 신뢰도 값이 애너테이션 워크플로우를 이끌어내어 인간의 노력이 저신뢰도 예측에 집중되도록 보장한다.
• NOVA 도구는 통합된 CML 전략과 시각적 피드백을 제공하는 실시간 협업 애너테이션을 가능하게 한다.
• 예측의 신뢰도에 따라 세션의 우선순위를 동적으로 조정하여 학습 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 협동 기계 학습이 대규모 사회적 신호 애너테이션에서 인간의 레이블링 노력을 현저히 줄일 수 있는가?
• RQ2 인간 지능과 기계 학습의 통합이 애너테이션 속도와 정확도 향상에 얼마나 효과적인가?
• RQ3 신뢰도 기반 예측 필터링이 레이블링 품질을 훼손하지 않으면서도 수동 검토 필요성을 줄일 수 있는가?
• RQ4 CML 워크플로우는 전통적 수동 애너테이션에 비해 시간 효율성과 모델 성능 측면에서 어떻게 비교되는가?
• RQ5 NOVA와 같은 오픈소스 도구가 실제 연구 환경에서 협업 기반 기계 보조 애너테이션을 효과적으로 지원할 수 있는가?

주요 결과

• CML 접근법은 10시간 분량의 음성 코퍼스에서 약 2.5시간(6.6시간에서 4.1시간)의 수동 애너테이션 시간을 절감하여 레이블링 노력의 5/8 감소를 달성했다.
• 선형 분류기를 사용하여 사전, 숨결, 필러, 침묵의 네 클래스 필러 탐지 작업에서 평균 인식 성능이 80%에 도달했다.
• 신뢰도 기반 필터링이 인간 리뷰어가 가장 불확실한 예측에 집중하도록 효과적으로 이끌었으며, 이는 애너테이션 효율성을 향상시켰다.
• 최종 사용자들은 NOVA를 긍정적으로 평가하였으며, 시스템의 정확성과 인간과 기계의 상호보완적 역할을 언급했다.
• CML을 NOVA에 통합함으로써 반복적인 모델 정밀화와 실시간 피드백을 지원하는 원활한 협업 워크플로우가 가능해졌다.
• 이 접근법은 일반화 가능성이 높았으며, 탐지 시스템이 다른 데이터베이스와 애너테이션 작업에 쉽게 적용 가능함을 보여주었다.