[論文レビュー] Applying Cooperative Machine Learning to Speed Up the Annotation of Social Signals in Large Multi-modal Corpora

Johannes Wagner, Tobias Baur+4 more|arXiv (Cornell University)|Feb 7, 2018

Anomaly Detection Techniques and Applications参考文献 60被引用数 13

ひとこと要約

本稿では、大規模なマルチモodalコーパスにおける社会的信号のアノテーションを加速するために、人間と機械の知性を統合する協働的機械学習（CML）フレームワークを提案する。反復的な予測の信頼度に基づく学習と、セッションに依存しないモデルを用いることで、手作業によるラベル付け作業を5/8（6.6時間の作業で約2.5時間の削減）まで削減した。実世界の会話の途切れ（speech filler）検出タスクを用いた検証で、80%の認識精度を達成した。

ABSTRACT

Scientific disciplines, such as Behavioural Psychology, Anthropology and recently Social Signal Processing are concerned with the systematic exploration of human behaviour. A typical work-flow includes the manual annotation (also called coding) of social signals in multi-modal corpora of considerable size. For the involved annotators this defines an exhausting and time-consuming task. In the article at hand we present a novel method and also provide the tools to speed up the coding procedure. To this end, we suggest and evaluate the use of Cooperative Machine Learning (CML) techniques to reduce manual labelling efforts by combining the power of computational capabilities and human intelligence. The proposed CML strategy starts with a small number of labelled instances and concentrates on predicting local parts first. Afterwards, a session-independent classification model is created to finish the remaining parts of the database. Confidence values are computed to guide the manual inspection and correction of the predictions. To bring the proposed approach into application we introduce NOVA - an open-source tool for collaborative and machine-aided annotations. In particular, it gives labellers immediate access to CML strategies and directly provides visual feedback on the results. Our experiments show that the proposed method has the potential to significantly reduce human labelling efforts.

研究の動機と目的

• 大規模なマルチモーダルコーパスにおける社会的信号の手作業によるラベリング作業の時間とコストを削減すること。
• 高度な機械学習モデルを訓練するのに不可欠な大規模で自然に発生する行動データセットを構築する課題に対処すること。
• 人間の知性と機械学習を協働的なワークフローで統合し、重複する人間によるラベリング作業を最小限に抑えること。
• 研究者にとって実用的でオープンソースのツール（NOVA）を開発し、リアルタイムで協働可能なアノテーションを支援すること。

提案手法

• CMLアプローチは、初期分類器を学習させるために少量の手動ラベル付きインスタンスから開始する。
• 信頼度スコアを用いて、不確実な予測を人間によるレビューの優先順位に設定することで、まず局所的な信号部分の予測に焦点を当てる。
• 洗練されたデータに基づいて、セッションに依存しない分類モデルを学習させ、残りのコーパスをラベルづけする。
• 信頼度値がアノテーションワークフローをガイドし、人間の作業が信頼度が低い予測に集中するように保証する。
• NOVAツールは、統合されたCML戦略と視覚フィードバックを備えたリアルタイムで協働可能なラベリングを可能にする。
• 予測の信頼度に基づいて、学習効率を最適化するための動的かつ優先順位付けされたセッション管理を支援する。

実験結果

リサーチクエスチョン

• RQ1 協働的機械学習は、大規模な社会的信号アノテーションにおいて、人間によるラベリング作業を顕著に削減できるか？
• RQ2 人間と機械の知性の統合は、アノテーションのスピードと正確性を向上させるのにどの程度効果的か？
• RQ3 信頼度に基づく予測フィルタリングは、ラベル品質を損なわずに手作業による検査の必要性を減らせるか？
• RQ4 CMLワークフローは、従来の手作業によるアノテーションと比較して、時間効率とモデル性能の面で優れているか？
• RQ5 NOVAのようなオープンソースツールは、実世界の研究環境において、協働的で機械支援のアノテーションを効果的に支援できるか？

主な発見

• CMLアプローチは、10時間の会話コーパスにおいて、手作業によるラベリング作業を約2.5時間（6.6時間から4.1時間へ）削減し、ラベリング作業の5/8を削減した。
• 線形分類器を用いて、4クラス分類（会話、息継ぎ、途切れ、沈黙）のフィラー検出において、平均80%の認識性能を達成した。
• 信頼度に基づくフィルタリングは、人間のレビュアーが最も不確実な予測に集中できるようにうまく誘導し、アノテーションの効率性を向上させた。
• 最終ユーザーはNOVAの使用経験を肯定的に評価し、システムの正確さと、人間と機械のラベリングにおける補完的役割の重要性を指摘した。
• CMLのNOVAへの統合により、反復的なモデルの最適化とリアルタイムフィードバックを支援するスムーズな協働ワークフローが実現した。
• このアプローチは一般化の可能性が強く、他のデータベースやアノテーションタスクに対しても、同様の検出システムを容易に適応可能であることが示された。