[論文レビュー] Multimodality and parallelism in design interaction: co-designers' alignment and coalitions

Françoise Détienne, Willemien Visser|arXiv (Cornell University)|Dec 4, 2006

Language, Metaphor, and Cognition参考文献 30被引用数 7

ひとこと要約

本論文は、建築設計会議における共同設計者間のマルチモーダルな相互作用——特に図式的・ジェスチャルなモダリティと言語的モダリティ——を分析する。コーパスベースの分析を通じて、統合的でないマルチモーダルな表現と統合的な表現の両方が、整合性や連携の形成をどのように促進するかが明らかになった。これにより、並列的で同時に発生するコミュニケーションモダリティが、共同設計のダイナミクスと即時の共有理解を形作っていることが示された。

ABSTRACT

This paper presents an analysis of various forms of articulation between graphico-gestural and verbal modalities in parallel interactions between designers in a collaborative design situation. Based on our methodological framework, we illustrate several forms of multimodal articulations, that is, integrated and non-integrated, through extracts from a corpus on an architectural design meeting. These modes reveal alignment or disalignment between designers, with respect to the focus of their activities. They also show different forms of coalition.

研究の動機と目的

• マルチモーダルなコミュニケーション（言語的、ジェスチャル、視覚的）が、デザインチームにおける協働をどのように支援または阻害するかを調査すること。
• 共同設計者がデザイン討論の過程で焦点にどのように整合性や不整合を生じさせるかを検討すること。
• リアルタイムでの設計相互作用において、マルチモーダルな表現を通じて連携がどのように形成されるかのパターンを同定すること。
• 共同設計プロセスにおけるマルチモーダルコミュニケーションの並列性が果たす役割を探ること。
• 自然的状況下におけるマルチモーダルで多人数参加型の設計相互作用を分析するための方法論的フレームワークを貢献すること。

提案手法

• 複数名の共同設計者が参加する建築設計会議の動画および音声コーパスを分析する。
• 言語的、ジェスチャル、図式的モダリティの間の表現の関係を特定するために、マルチモーダル相互作用分析フレームワークを適用する。
• モダリティの貢献の同期性と整合性に基づいて、統合的でないマルチモーダル表現と統合的表現を区別する。
• 時間的調整とモダリティの整合性を検討し、焦点の変化や新たな連携の形成を検出する。
• 会話分析とマルチモーダルトランスクリプション技術を用いて、複数モダリティにわたる相互作用のダイナミクスをマッピングする。
• 設計者がジェスチャーや言語、図面を並列的に使用することで、デザインアイデアを交渉し、共有理解を確立する方法に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 共同設計セッション中に図式的・ジェスチャルなモダリティと言語的モダリティはどのように相互作用するか？
• RQ2 統合的でないマルチモーダル表現と統合的表現は、共同設計者間の整合性や不整合をどのように示すか？
• RQ3 連携はどのように形成され、変化するのか。その転換を示すマルチモーダルな兆候は何か？
• RQ4 共同設計プロセスにおけるマルチモーダルコミュニケーションの並列性は、協働的プロセスを維持するか、あるいは破壊するかにどのような役割を果たすか？
• RQ5 共同設計者は、リアルタイムで複数のモダリティをどのように使い、焦点と共有理解を交渉するか？

主な発見

• 言語、ジェスチャー、図面が一致する統合的マルチモーダル表現は、共同設計者間の強い整合性と共有された焦点を示している。
• 不一致や非同期的なジェスチャーと言語の組み合わせといった非統合的表現は、不整合性や注意の分散を示している。
• 複数の共同設計者がモダリティの貢献を一致させることで連携が形成され、特に協調的なジェスチャーと言語的参照がその中心となる。
• マルチモーダルコミュニケーションにおける並列性は、複雑な設計課題に対しても共同作業の継続的関与を可能にし、共同の焦点を維持する。
• 分析の結果、連携は静的ではなく、マルチモーダルな調整の変化を通じて動的に形成され、解体されることが明らかになった。
• 設計者は頻繁にジェスチャーや図面を用いて言語的提案を固定化しており、視覚的・空間的モダリティが設計的推論の中心的役割を果たしていることが示された。