[논문 리뷰] Multimodality and parallelism in design interaction: co-designers' alignment and coalitions

Françoise Détienne, Willemien Visser|arXiv (Cornell University)|2006. 12. 04.

Language, Metaphor, and Cognition참고 문헌 30인용 수 7

한 줄 요약

이 논문은 건축 설계 회의 중 공동 설계자들 간의 다모odal 상호작용—특히 그래픽-제스처 및 언어적 모달리티—를 분석한다. 코퍼스 기반 분석을 통해 통합적이고 비통합적인 다모달 표현을 통해 정합성과 협력 관계 형성이 어떻게 발생하는지를 규명하며, 실시간으로 협업 설계 역학과 공동 이해를 형성하는 데 병행되는 다중 의사소통 방식이 기여하는 바를 보여준다.

ABSTRACT

This paper presents an analysis of various forms of articulation between graphico-gestural and verbal modalities in parallel interactions between designers in a collaborative design situation. Based on our methodological framework, we illustrate several forms of multimodal articulations, that is, integrated and non-integrated, through extracts from a corpus on an architectural design meeting. These modes reveal alignment or disalignment between designers, with respect to the focus of their activities. They also show different forms of coalition.

연구 동기 및 목표

• 설계 팀에서 다모달 의사소통(언어적, 제스처적, 시각적)이 협업을 지원하거나 저해하는 방식을 조사하는 것.
• 공동 설계자들이 설계 논의 중 초점에 대해 정합성 또는 정합성의 결여를 어떻게 달성하는지 조사하는 것.
• 실시간 설계 상호작용에서 다모달 표현을 통해 형성되는 협력 관계 패턴을 규명하는 것.
• 협업 설계 과정에서 다모달 의사소통의 병행성의 역할을 탐색하는 것.
• 자연스러운 환경에서의 다모달, 다자간 설계 상호작용을 분석하기 위한 방법론 프레임워크 기여

제안 방법

• 다수의 공동 설계자가 참여한 건축 설계 회의의 영상 및 음성 코퍼스를 분석한다.
• 언어적, 제스처적, 도면적 모달리티 간의 표현 관계를 식별하기 위해 다모달 상호작용 분석 프레임워크를 적용한다.
• 모달 기여의 시간적 일치성과 일관성에 기반해 통합적이고 비통합적인 다모달 표현을 구분한다.
• 시간적 조율과 모달 정합성을 분석하여 초점 변화와 새로운 협력 관계 형성 여부를 탐지한다.
• 대화 분석과 다모달 전사 기법을 사용하여 다양한 모달 간의 상호작용 역학을 매핑한다.
• 설계자들이 제스처, 말, 그리고 그림을 병행하여 사용함으로써 설계 아이디어를 협의하고 공동 이해를 구축하는 방식에 집중한다.

실험 결과

연구 질문

• RQ1 협업 설계 세션 동안 그래픽-제스처적 모달리티와 언어적 모달리티는 어떻게 상호작용하는가?
• RQ2 통합적이고 비통합적인 다모달 표현은 공동 설계자들 간의 정합성 또는 정합성의 결여를 어떻게 신호하는가?
• RQ3 협력 관계는 설계 상호작용 중 어떻게 형성되고 변화하는가? 이러한 전환을 나타내는 다모달 신호는 무엇인가?
• RQ4 협업 설계 과정에서 다모달 의사소통의 병행성이 협업 과정을 유지하거나 방해하는 데 어떤 역할을 하는가?
• RQ5 공동 설계자들은 실시간으로 어떻게 다양한 모달리티를 사용하여 초점을 협의하고 공동 이해를 형성하는가?

주요 결과

• 말, 제스처, 그리고 그림이 일치하는 통합적 다모달 표현은 공동 설계자들 간의 강한 정합성과 공동 초점에 대한 신호를 제공한다.
• 비일치하거나 비동기적인 제스처와 말을 포함한 비통합 표현은 정합성의 결여 또는 주의의 산산이 흩어진 상태를 나타낸다.
• 여러 명의 공동 설계자가 모달 기여를 정렬함으로써 협력 관계가 형성되며, 특히 조율된 제스처와 언어적 참조를 통해 나타난다.
• 다모달 의사소통의 병행성은 지속적인 협업 참여를 가능하게 하며, 복잡한 설계 과제가 있더라도 공동 초점을 유지하는 데 기여한다.
• 분석 결과, 협력 관계는 정적인 것이 아니라 다모달 조율의 변화를 통해 동적으로 형성되고 해체됨을 확인할 수 있다.
• 설계자들은 자주 제스처와 그림을 사용하여 언어적 제안을 기반으로 하며, 이는 시각적 및 공간적 모달리티가 설계 추론의 핵심임을 보여준다.