[论文解读] A Model for Interactive Scores with Temporal Constraints and Conditional Branching

Mauricio Toro, Myriam Desainte‐Catherine+1 more|arXiv (Cornell University)|Oct 9, 2015

Constraint Satisfaction and Optimization参考文献 4被引用 17

一句话总结

本文提出了一种扩展的交互式乐谱（IS）模型，通过引入带时序条件关系（TCRs）将条件分支与时间关系相结合，实现了对多媒体场景的动态控制。该模型利用时间点和条件来管理执行流程，支持选择、循环和随机持续时间——在Mariona多媒体装置艺术中得到验证——同时表明，在此类场景中，刚性持续时间并不总能保持不变。

ABSTRACT

Interactive Scores (IS) are a formalism for the design and performance of interactive multimedia scenarios. IS provide temporal relations (TR), but they cannot represent conditional branching and TRs simultaneously. We propose an extension to Allombert et al.'s IS model by including a condition on the TRs. We found out that in order to have a coherent model in all possible scenarios, durations must be flexible; however, sometimes it is possible to have fixed durations. To show the relevance of our model, we modeled an existing multimedia installation called Mariona. In Mariona there is choice, random durations and loops. Whether we can represent all the TRs available in Allombert et al.'s model into ours, or we have to choose between a timed conditional branching model and a pure temporal model before writing a scenario, still remains as an open question.

研究动机与目标

• 解决现有交互式乐谱模型在同时支持条件分支与时间关系方面的局限性。
• 实现涉及选择、循环和随机持续时间的动态、交互式多媒体场景——这在Mariona等装置艺术中常见。
• 开发一种形式化模型，保持时间一致性的同时允许基于条件的运行时决策。
• 研究在条件分支场景中保持刚性与半刚性持续时间的可行性。
• 通过Mariona多媒体装置艺术的案例研究，展示该模型的适用性。

提出的方法

• 通过引入带时序条件关系（TCRs）扩展Allombert等人提出的IS模型，其中时间关系受条件保护。
• 使用时间点（开始/结束）表示时间关系，并将Allen的区间关系（如“衔接”、“期间”）编码为带条件检查的TCRs。
• 采用基于约束的执行模型，条件在本地环境中求值以确定关系的激活。
• 通过TCRs上的条件保护实现条件分支，允许在演出过程中动态选择执行路径。
• 通过在父对象环境上下文中求值条件，支持跨层级关系。
• 通过允许持续时间可变（除非显式约束）来保持持续时间的灵活性，并分析在何种情况下仍可维持刚性持续时间。

实验结果

研究问题

• RQ1 能否在一个统一的形式化模型中整合条件分支与时间关系，用于交互式乐谱？
• RQ2 在将条件分支与时间关系结合时，保持刚性与半刚性持续时间的约束是什么？
• RQ3 如何在动态执行模型中将时间关系（如“衔接”或“期间”）编码为条件保护的关系？
• RQ4 在何种场景下，刚性持续时间可与条件分支共存？其结构或逻辑条件是什么？
• RQ5 如何使用所提出的模型正式表示并执行复杂多媒体行为，如循环、随机延迟和用户驱动的选择？

主要发现

• 所提出的模型通过条件保护的带时序条件关系（TCRs）成功将条件分支与定性时间关系（如“A必须在B期间播放”）相结合。
• 在涉及条件分支的所有场景中，刚性与半刚性持续时间无法保持一致，因为模型为确保所有执行路径的一致性，必须采用灵活的持续时间。
• 该模型可通过为适当条件编码TCRs，完整表示Allombert等人原始IS模型中的所有定性时间关系。
• Mariona多媒体装置艺术成功使用所提出的框架进行建模，展示了对选择、循环、随机持续时间及跨层级关系的支持。
• 虽然在条件分支下无法普遍保留定量时间关系（如“A的持续时间为3秒”），但在特定情况下，当约束被仔细构建时，仍可保留此类关系。
• 该模型支持动态执行行为，如非确定性循环终止和用户驱动的路径选择，已在Mariona案例研究中得到验证。