[論文レビュー] Structured Interactive Music Scores

Mauricio Toro|arXiv (Cornell University)|Aug 23, 2015

Music and Audio Processing参考文献 15被引用数 21

ひとこと要約

本論文は、非決定的時刻付き並行制約（ntcc）計算を用いてマルチメディアシナリオにおける時間的関係およびグローバル制約をモデル化することで、構造化されたインタラクティブ音楽スコアの形式的フレームワークを提案する。制御論理にntccを統合し、リアルタイム音声・映像処理にFaustを用いることで、ハイブリッドシステムの意味論と検証技術を用いて、形式的検証による動作特性の保証とリアルタイム性能の両立を図る。

ABSTRACT

Interactive Scores is a formalism for the design and performance of interactive scenarios that provides temporal relations (TRs) among the objects of the scenario. We can model TRs among objects in Time Stream Petri nets, but it is difficult to represent global constraints. This can be done explicitly in the Non-deterministic Timed Concurrent Constraint (ntcc) calculus. We want to formalize a heterogeneous system that controls in one subsystem the concurrent execution of the objects using ntcc, and audio and video processing in the other. We also plan to develop an automatic verifier for ntcc.

研究の動機と目的

• ntccを制御論理、Faustを音声・映像処理、メディアローダをファイル処理に用いる、異種のシステムを形式的に統合すること。
• 従来のntcc検証が遅すぎるため、リアルタイムでインタラクティブな音楽システムにおける時間的性質の検証という課題に対処すること。
• 並列なマルチメディアオブジェクトとグローバル制約を同期化するシステムの形式的意味論を定義すること。
• インタラクティブ音楽シナリオにおける到達可能性やライブネスなどの性質の自動検証を可能にすること。
• ntccによる形式的検証とFaustプラグインによる効率的なリアルタイム実行の間のギャップを埋めること。

提案手法

• ntcc計算を用いて時間的関係およびグローバル制約を表現することで、インタラクティブ音楽シナリオをモデル化する。
• 計算コストの高いntccプロセスの代わりに、リアルタイム信号処理コンponentとしてFaustを統合する。
• ntcc（制御）、Faust（信号処理）、メディアローダ（ファイルI/O）を統合した異種システムの意味論を定義する。
• ntccの線形時相論理解釈を活用し、時間的性質を形式的に仕様記述および検証する。
• モデルチェック技術を用いて、ntccの実用的サブセットにおけるシステム性質の自動検証を可能にする。
• 検証済みのntccモデルがFaustプラグインの振る舞いを指図するハイブリッドアーキテクチャを設計し、性質の保存を保証する。

実験結果

リサーチクエスチョン

• RQ1 ntccベースの制御、Faustベースの信号処理、およびメディアファイル処理を統合する異種システムを形式的に指定する方法は何か？
• RQ2 Faustプラグインは、ntccモデルで形式的に検証された時間的性質を正しく保持できるか？
• RQ3 形式的検証を犠牲にせずに、ntccベースのインタラクティブ音楽システムでリアルタイム性能を達成することは可能か？
• RQ4 並列制御、グローバル制約、リアルタイム音声・映像ストリームを統合する形式的意味論は何か？
• RQ5 実用的なntccサブセットを対象とした自動検証ツールをどのように開発できるか？

主な発見

• Faustとntccの統合により、純粋なntccrt実行に起因する性能制限を克服したリアルタイム音声処理が可能になった。
• 提案されたフレームワークにより、'イベントe_Aから4時間単位後に、ストリームBはストリームAのゲインフィルタ出力である'といった時間的性質の形式的検証が可能になった。
• 500個の時間的オブジェクトを含むプロトタイプスコアでは、平均時間単位長が30 msに達し、リアルタイム相互作用と互換性があることが示された。
• ntccの実用的サブセットに対してモデルチェックを適用することで、インタラクティブ音楽システムの自動検証への現実的な道筋が得られた。
• 異種システムの形式的意味論により、マルチメディアオブジェクト間のグローバル制約と同期の明確な仕様記述が可能になった。
• 基本的な時間的制約をはるかに超えて、条件分岐やループといった複雑なインタラクティブ機能をサポートするようになった。