[論文レビュー] On Design and Implementation of the Distributed Modular Audio Recognition Framework: Requirements and Specification Design Document

Serguei A. Mokhov|arXiv (Cornell University)|May 15, 2009

Music and Audio Processing参考文献 7被引用数 30

ひとこと要約

本論文は、CORBA、RMI、Web Servicesを用いてパイプライン段階を独立した相互運用可能なサービスに分離することで、モノリシックなMARFシステムを拡張した分散型モジュラー音声認識フレームワーク（dMARF）を提示する。このフレームワークは、事前ログ（WAL）、レプリケーション、トランザクション回復を用いてスケーラブルで耐障害性に優れた音声処理を実現し、複数ノードにまたがる分散実行を成功裏に実現した。自動フェイルオーバーと回復機能を備えている。

ABSTRACT

We present the requirements and design specification of the open-source Distributed Modular Audio Recognition Framework (DMARF), a distributed extension of MARF. The distributed version aggregates a number of distributed technologies (e.g. Java RMI, CORBA, Web Services) in a pluggable and modular model along with the provision of advanced distributed systems algorithms. We outline the associated challenges incurred during the design and implementation as well as overall specification of the project and its advantages and limitations.

研究の動機と目的

• モノリシックなMARF音声認識パイプラインのスケーラビリティおよび耐障害性の制限を解消すること。
• 認識パイプラインを独立したリモートアクセス可能なサービスにモジュラー化することで、音声データの分散処理を可能にすること。
• Write-Ahead Logging (WAL)およびレプリケーションを用いて、トランザクション整合性と回復を実現し、高可用性を確保すること。
• CORBA、RMI、Web Servicesといった複数の分散通信技術間の相互運用性を、統一されたデリゲート抽象化により実現すること。
• 災害回復およびレプリケーション対応を備えた生産環境向けで拡張可能なフレームワークを提供し、大規模音声認識ワークロードに対応すること。

提案手法

• SpeakerIden、Pipeline、Sample Loader、Preprocessing、Feature Extraction、Classificationの6つのコアサービスにMARFパイプラインをモジュラー化すること。
• RMI、CORBA、Web Servicesの操作を共通のビジネスロジックインターフェースにマップする、技術に依存しないデリゲートを用いて、クロステクノロジーのリモート通信を実装すること。
• ポイントインタイム回復とレプリケーションを可能にするために、トランザクション（オブジェクト、タイムスタンプ、設定ファイル）を記録するWrite-Ahead Log (WAL)システムを設計すること。
• Web Servicesのサービスエンドポイント（タイプとURL）をカプセル化するRemoteObjectReferenceを用い、動的検索とサービス間通信を可能にすること。
• プライマリバックアップレプリケーションとガスピングベースの調整を用いて、サービス障害を検出し、回復すること。
• dmarf-hosts.propertiesを介した動的サービス登録、検索、構成に使用するユーティリティクラス（ORBUtils、RMIUtils、WSUtils）を活用すること。

実験結果

リサーチクエスチョン

• RQ1 モノリシックな音声認識パイプラインを、機能的正しさを保持したまま、スケーラブルで分散型のモジュラーフレームワークに再構築するにはどうすればよいか？
• RQ2 分散音声処理システムにおいて、CORBA、RMI、Web Services間のクロステクノロジー相互運用性を実現するメカニズムは何か？
• RQ3 事前ログ（WAL）とレプリケーションを用いて、分散音声認識パイプラインにおけるトランザクション整合性と耐障害性をどのように達成できるか？
• RQ4 データシリアル化制限（例：MARFのSampleクラスにおける非シリアル化可能メンバ）が分散デプロイに与える影響は何か。また、それらをどのように緩和できるか？
• RQ5 レプリケーションとWALベースの回復を用いることで、分散音声認識システムがどれほど高い可用性と自動フェイルオーバーを達成できるか？

主な発見

• dMARFフレームワークは、CORBA、RMI、Web Servicesの各技術において、パイプラインの6つのサービスを正常に実装し、通信技術間での完全な相互運用性を達成した。
• 制限付き（最大1,000エントリ）のWrite-Ahead Log (WAL)メカニズムにより、ポイントインタイム回復が可能となり、トランザクションログの送信と再実行をサポートした。
• サービスレプリカを停止・再起動することでフェイルオーバーと回復が実証され、データ損失なしに正常なパイプライン処理が再開された。
• MARFのSampleクラスの設計上の欠陥（非シリアル化可能な親メンバ）により、RMIおよびWeb Servicesのマーシャリングが一時的に破損したが、デモ後におけるシリアル化の修正により解決された。
• デリゲート抽象化により通信ロジックとビジネスロジックが明確に分離され、シームレスな技術切り替えと集中型トランザクション処理が可能となった。
• テストにより、最大4台の地理的に分散されたコンピュータ間でバッチ処理を実行した場合でも、サービス再起動後の一貫性ある回復が確認された。