[論文レビュー] audino: A Modern Annotation Tool for Audio and Speech

Manraj Singh Grover, Pakhi Bamdev+4 more|arXiv (Cornell University)|Jun 9, 2020

Speech Recognition and Synthesis参考文献 15被引用数 4

ひとこと要約

audino は、共同作業が可能なサーバーサイドの時系列セグメンテーション、トランスクリプション、ラベリングを可能にする、現代的でウェブベースのオープンソースの音声・発話用アノテーションツールであり、プロジェクトおよびユーザーの集中管理を備えています。ASR、VAD、感情認識などの多様なNLPおよび音声タスクをサポートし、DockerデプロイとAPI統合によりスケーラブルで安全かつ効率的なデータセット作成を実現しており、自動化された採点システム向けに65時間分のL2英語発話のトランスクリプションに成功しています。

ABSTRACT

In this paper, we introduce a collaborative and modern annotation tool for audio and speech: audino. The tool allows annotators to define and describe temporal segmentation in audios. These segments can be labelled and transcribed easily using a dynamically generated form. An admin can centrally control user roles and project assignment through the admin dashboard. The dashboard also enables describing labels and their values. The annotations can easily be exported in JSON format for further analysis. The tool allows audio data and their corresponding annotations to be uploaded and assigned to a user through a key-based API. The flexibility available in the annotation tool enables annotation for Speech Scoring, Voice Activity Detection (VAD), Speaker Diarisation, Speaker Identification, Speech Recognition, Emotion Recognition tasks and more. The MIT open source license allows it to be used for academic and commercial projects.

研究の動機と目的

• スケーラブルで安全かつ集中管理された音声データセットの管理を支援する、現代的で共同作業可能なサーバーサイドの音声アノテーションツールの不足を解消すること。
• 多様な音声およびNLPタスク向けに、音声データの効率的で正確な時系列セグメンテーション、トランスクリプション、ラベリングを可能にすること。
• 許可が緩いMITライセンスを採用することで、学術的および商業的用途の両方で利用可能で拡張性のある、プロダクション環境対応のプラットフォームを提供すること。
• APIベースのデータアップロード、事前ラベリング済みデータのインポート、アノテーター間一致率による自動品質追跡を支援することで、大規模データセット作成のワークフローを最適化すること。
• トークンベース認証、ハッシュ化されたファイル名、ロールベースアクセス制御を活用して、データセキュリティとプライバシーを強化すること。

提案手法

• RESTful API と React ベースのフロントエンドを用いたフルスタックのウェブアプリケーションとして構築され、中央集権的なデータストレージを備えたサーバー上でホスティングされる。
• 音声ファイルとアノテーションは中央データベースに格納され、ユーザーのアクセスは JSON Web Tokens (JWT) とロールベースの権限によって制御される。
• アノテーターはブラウザベースのインターフェースを通じて音声波形と対話し、再生コントロール、ズーム、セグメント選択機能を用いてラベリング用の時間的領域を定義する。
• 各タスクに応じて動的に生成されるフォームにより、トランスクリプションの入力と、事前に定義されたラベル（単一選択または複数選択）の選択が可能となる。
• 管理者ダッシュボードを介して、ユーザー、ロール、プロジェクト、ラベル、APIキーの作成が可能で、安全なデータアップロードと統合が実現される。
• アノテーションはJSON形式でエクスポート可能で、機械学習パイプラインでの利用が可能であり、APIを介して事前学習済みモデルと統合して初期ラベリングが可能となる。

実験結果

リサーチクエスチョン

• RQ1 現代的で共同作業可能なセキュアなウェブベースのアノテーションツールは、音声および発話データセット作成のスケーラビリティと効率性をどのように向上させるか？
• RQ2 集中管理されたプロジェクトおよびユーザー管理は、大規模な音声アノテーションプロジェクトにおけるエラーの低減と一貫性の向上にどの程度寄与するか？
• RQ3 API統合と事前ラベリング済みデータインポートを備えたウェブベースのツールは、音声認識および採点タスクにおける手作業アノテーション作業をどの程度削減できるか？
• RQ4 発話者ダイアライゼーション、感情認識、ASRエラー補正などの多様な発話アノテーションタスクをサポートするうえで、このツールの有効性はいかがなものか？
• RQ5 集中管理ダッシュボードとセキュアな認証は、共同アノテーションプロセスにおけるデータプライバシーとアクセス制御をどのように強化するか？

主な発見

• audino は、模擬的な語学習度評価面接から得られた65時間分のL2英語発話を正常にトランスクリプトし、事前学習済みのASRモデルの微調整を可能にした。
• 2名のアノテーターがデータの20％を重複してアノテートしたことで、CRONジョブを介して自動的に単語誤り率（WER）を追跡し、エラーをフラグ付けすることができた。
• アノテーター間一致率は自動的にWER計算によりモニタリングされ、重大なトランスクリプションエラーは議論を通じて是正され、データ品質が向上した。
• audino の使用により、事前ラベリング済みデータのインポートと反復的補正が可能になったことで、データセット準備における手作業の負荷が軽減され、自動化された語学習度採点システムの開発が加速した。
• 中央集権アーキテクチャとロールベースアクセス制御のおかげで、クライアントサイドまたはオフラインツールと比較して、データセキュリティとプロジェクト管理の質が著しく向上した。
• 本プロジェクトは1年以上にわたり積極的に保守され、本番環境でも使用されており、大規模な音声アノテーションタスクにおける信頼性と拡張性を実証した。