[論文レビュー] MPEG-H Audio for Improving Accessibility in Broadcasting and Streaming

Christian Simon, Matteo Torcoli+1 more|arXiv (Cornell University)|Sep 25, 2019

Subtitles and Audiovisual Media参考文献 14被引用数 5

ひとこと要約

本論文は、MPEG-H Audioのオブジェクトベース音声（OBA）技術を活用し、ダイナミックでユーザー制御可能な音声調整（例：会話強調、音声説明）を可能にすることで、放送およびストーミングにおけるアクセシビリティを向上させることを提案している。音声要素を独立したオブジェクトとして扱い、レベルや位置を調整可能にすることで、従来のワークフローを最小限に変更したまま、個別化された聴取体験を実現でき、聴覚障害者、高齢者、および第二言語話者にとっての会話の聞き取りやすさが顕著に向上する。

ABSTRACT

Broadcasting and streaming services still suffer from various levels of accessibility barriers for a significant portion of the population, limiting the access to information and culture, and in the most severe cases limiting the empowerment of people. This paper provides a brief overview of some of the most common accessibility barriers encountered. It then gives a short introduction to object-based audio (OBA) production and transport, focusing on the aspects relevant for lowering accessibility barriers. MPEG-H Audio is used as a concrete example of an OBA system already deployed. Two example cases (dialog enhancement and audio description) are used to demonstrate in detail the simplicity of producing MPEG-H Audio content providing improved accessibility. Several other possibilities are outlined briefly. We show that using OBA for broadcasting and streaming content allows offering several accessibility features in a flexible manner, requiring only small changes to the existing production workflow, assuming the receiver supports the functionality.

研究の動機と目的

• 聴覚障害、認知的障害、言語関連の課題を抱える人々に対する放送およびストーミングにおける継続的なアクセシビリティ障壁を解消すること。
• MPEG-H Audioのようなオブジェクトベース音声（OBA）システムが、既存の制作ワークフローを大幅に見直さずに、カスタマイズ可能な音声体験を提供できるかを実証すること。
• MPEG-H Audioのメタデータおよびプリセットを用いた会話強調および音声説明の実用的実装を提示すること。
• ユーザーのインタラクティビティとメタデータ駆動のレンダリングが、包括的な音声配信を可能にする役割を強調すること。
• OBAの実用性と低コストな統合を実証することで、メディア制作におけるOBAの採用を促進すること。

提案手法

• MPEG-H Audioのオブジェクトベース音声（OBA）フレームワークを用い、会話、音楽、効果音などの音声要素を個別の音声オブジェクトに分離し、関連するメタデータを付与する。
• 動的ゲインメタデータを適用して、音声オブジェクトの相対的な音量を制御する。たとえば、会話の聞き取りやすさ向上のため、'Dialog+'プリセットでは会話レベルを+6 dB増幅する。
• ユーザーのインタラクティビティを可能にするために、調整可能なゲイン範囲（例：会話で±9 dB、音声説明で±6 dB）と空間的位置（例：ADの水平方向で±180°、垂直方向で0–30°）を定義する。
• 制作ツールを用いて音声シーンの監視、ダウンミックスのテスト、レンダリング動作の検証をエンコード前に実施する。
• 放送およびストーミングパイプラインへの統合を可能にするために、ADMまたはMPF形式で音声およびメタデータをエクスポートする。
• 元のミックス音声から会話とバックグラウンドトラックを分離するためのソース分離技術（例：[28] からの手法）を活用し、別々のトラックが入手できない場合の代替手段とする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトベース音声は、聴覚障害を持つ人々に対する放送およびストーミングにおけるアクセシビリティ障壁をどのように低減できるか？
• RQ2 MPEG-H Audioの動的メタデータとインタラクティビティは、騒音や複雑な音声環境下で会話の聞き取りやすさをどの程度向上できるか？
• RQ3 既存の制作ワークフローに最小限の変更で、音声説明および会話強調を統合する可行性はどの程度か？
• RQ4 ユーザーが音声調整（例：音量や位置）を制御することで、認識されるアクセシビリティおよびユーザー体験にどのような影響を与えるか？
• RQ5 OBAベースのシステム、たとえばMPEG-H Audioは、多言語および簡略化された言語コンテンツの配信を効果的にサポートできるか？

主な発見

• MPEG-H Audioは、+6 dBの静的ゲインオフセットを備えた'Dialog+'プリセットを用いることで、聴覚に障害を持つユーザーの会話の聞き取りやすさを顕著に向上させる会話強調を実現できる。
• ゲイン（例：±9 dB）および空間的位置（例：水平方向で±180°、垂直方向で0–30°）におけるユーザーのインタラクティビティにより、コンテンツの再エンコードなしに個別化された音声体験が可能になる。
• 音声説明は、ADトラックが有効化されている際にメインミックスを動的に減衰させる専用プリセットを用いることで実装可能であり、エクスポートされたDAWオートメーションを動的ゲインメタデータとして利用できる。
• 従来のコンテンツに対しては、ソース分離を用いて会話とバックグラウンド成分を抽出することで、後方互換性を確保できる。
• メタデータ駆動のレンダリングを活用することで、既存の制作パイプラインに最小限の変更でアクセシビリティ機能を拡張可能であり、再生時にメタデータに従ってレンダリングが行われる。
• MPEG-H Audioのユーザーインターフェースは、音声オブジェクトの強調度や位置を直感的に制御でき、エンドユーザーが音声シーンを個々のニーズに合わせてカスタマイズできる。