[논문 리뷰] Structured Interactive Music Scores

Mauricio Toro|arXiv (Cornell University)|2015. 08. 23.

Music and Audio Processing참고 문헌 15인용 수 21

한 줄 요약

이 논문은 다중미디어 시나리오에서 시간적 관계와 전역 제약 조건을 모델링하기 위해 비결정성 시간 동시 제약 조건(ntcc) 미분법을 사용하여 구조화된 상호작용 음악 스코어를 위한 형식적 프레임워크를 제안한다. 제어 논리에 ntcc를 통합하고 실시간 오디오/비디오 처리에 Faust를 사용하여 실시간 성능을 유지하면서도 행동 성질의 형식적 검증을 가능하게 하기 위해 하이브리드 시스템 의미론과 검증 기법을 활용한다.

ABSTRACT

Interactive Scores is a formalism for the design and performance of interactive scenarios that provides temporal relations (TRs) among the objects of the scenario. We can model TRs among objects in Time Stream Petri nets, but it is difficult to represent global constraints. This can be done explicitly in the Non-deterministic Timed Concurrent Constraint (ntcc) calculus. We want to formalize a heterogeneous system that controls in one subsystem the concurrent execution of the objects using ntcc, and audio and video processing in the other. We also plan to develop an automatic verifier for ntcc.

연구 동기 및 목표

• ntcc를 제어 논리로, Faust를 오디오/비디오 처리로, 파일 처리를 위한 미디어 로더를 포함하는 이질적 시스템을 형식화한다.
• 기존 ntcc 검증 기법이 너무 느려 실시간 상호작용 음악 시스템에서 시간적 성질을 검증하는 데 어려움을 해결한다.
• 동시 다중미디어 객체와 전역 제약 조건을 동기화하는 시스템에 대한 형식적 의미론을 개발한다.
• 상호작용 음악 시나리오에서 도달 가능성 및 생존성과 같은 성질의 자동 검증을 가능하게 한다.
• ntcc를 통한 형식적 검증과 Faust 플러그인을 통한 효율적 실시간 실행 간 격차를 메운다.

제안 방법

• ntcc 미분법을 사용하여 시간적 관계와 전역 제약 조건을 표현함으로써 상호작용 음악 시나리오를 모델링한다.
• 계산 비용이 높은 ntcc 프로세스를 대체하기 위해 Faust를 실시간 신호 처리 구성 요소로 통합한다.
• ntcc(제어), Faust(신호 처리), 미디어 로더(파일 I/O)를 조합한 이질적 시스템 의미론을 정의한다.
• ntcc의 선형 시간 논리 해석을 활용하여 시간적 성질를 형식적으로 명세하고 검증한다.
• 모델 체킹 기법을 사용하여 ntcc의 실용적 부분집합에서 시스템 성질의 자동 검증을 가능하게 한다.
• 검증된 ntcc 모델이 Faust 플러그인 행동을 이끌어내는 하이브리드 아키텍처를 설계하여 성질 유지를 보장한다.

실험 결과

연구 질문

• RQ1 ntcc 기반 제어, Faust 기반 신호 처리, 파일 처리를 통합하는 이질적 시스템을 어떻게 형식적으로 명세할 수 있는가?
• RQ2 Faust 플러그인이 ntcc 모델에서 형식적으로 검증된 시간적 성질을 정확히 유지할 수 있는가?
• RQ3 형식적 검증을 포기하지 않고도 ntcc 기반 상호작용 음악 시스템에서 실시간 성능을 달성할 수 있는가?
• RQ4 동시 제어, 전역 제약 조건, 실시간 오디오/비디오 스트림을 통합할 수 있는 형식적 의미론은 무엇인가?
• RQ5 실용적인 음악 애플리케이션 개발을 지원하기 위해 ntcc의 유용한 부분집합을 위한 자동 검증 도구를 어떻게 개발할 수 있는가?

주요 결과

• Faust와 ntcc의 통합은 순수 ntccrt 실행의 성능 한계를 극복하고 실시간 오디오 처리를 가능하게 한다.
• 제안된 프레임워크는 '이벤트 e_A 발생 후 4 시간 단위가 지나면 스트림 B는 스트림 A의 게인-필터링 출력이 된다'와 같은 시간적 성질의 형식적 검증을 가능하게 한다.
• 500개의 시간적 객체를 포함한 프로토타입 스코어는 평균 시간 단위 지속 시간이 30ms를 기록하여 실시간 상호작용과의 호환성을 입증했다.
• ntcc의 실용적 부분집합에 모델 체킹을 적용함으로써 상호작용 음악 시스템의 자동 검증을 위한 실현 가능한 길을 확보할 수 있었다.
• 이질적 시스템의 형식적 의미론은 다중미디어 객체 간 전역 제약 조건과 동기화를 정확히 명세할 수 있도록 한다.
• 기본적인 시간 제약 조건을 넘어서 조건부 분기와 루프와 같은 복잡한 상호작용 기능을 지원한다.