[논문 리뷰] Musical Smart City: Perspectives on Ubiquitous Sonification

Pedro Sarmento, Ove Holmqvist외 1명|arXiv (Cornell University)|2020. 06. 22.

Tactile and Sensory Interactions참고 문헌 38인용 수 5

한 줄 요약

이 논문은 스마트 시티 데이터를 실시간으로 상호작용 가능한 음악적 경험으로 변환하기 위해 유비쿼터스 사운드화를 새로운 접근 방식으로 제안한다. 이는 사운드화, 유비쿼터스 음악, 모바일 컴퓨팅을 통합하여, 사용자가 도시 데이터를 听각적으로 인지하고 참가형 음악 기반 데이터 상호작용을 통해 환경 인식을 향상시킬 수 있도록 한다.

ABSTRACT

Smart cities are urban areas with sensor networks that collect data used towards efficient management. As a source of ubiquitous data, smart city initiatives present opportunities to enhance inhabitants' urban awareness. However, making sense of smart city data is challenging and there is a gap between available data and end-user applications. Sonification emerges as a promising method for the interpretation of smart city data and the production of novel musical experiences. In this paper, we first present the smart city paradigm. We then cover the topics of ubiquitous and mobile music, followed by an overview of sonification research. Finally, we propose an approach entitled ubiquitous sonification and present the initial design of a speculative use case for musical smart city systems, leveraging user and urban data to inform behaviour.

연구 동기 및 목표

• 다양한 스마트 시티 센서 데이터와 효과적인 사용자 해석 방법 간 격차를 해소하기 위해.
• 사운드화 기법을 활용해 도시 환경에서 청각 모odal을 통한 시각적 데이터 표현을 확장할 수 있는 방법을 탐색하기 위해.
• 유비쿼터스 음악 및 모바일 음악 원칙을 사운드화와 융합하여 동적이고 사용자 중심의 도시 음향 환경을 창출하기 위해.
• 실시간으로 상황 인식이 가능한 도시 데이터의 음악적 표현을 가능하게 하는 새로운 범주인 '유비쿼터스 사운드화'를 제안하기 위해.
• 시민이 청각 피드백과 창의적 상호작용을 통해 도시 데이터에 능동적으로 참여할 수 있는 음악적 스마트 시티 시스템을 비전으로 제시하기 위해.

제안 방법

• 실시간으로 상황 인식이 가능한 도시 데이터의 오디오 렌더링을 가능하게 하기 위해 사운드화 기법과 유비쿼터스 및 모바일 음악 프레임워크를 통합한다.
• 도시 데이터 스트림과 음악적 파rameter(예: 음고, 리듬, 톤) 간의 다차원성 감소 및 교차 모odal 매핑을 위해 기계 학습을 활용한다.
• 도시 및 사용자 데이터가 음악적 출력을 이끌어내는 사고 실험적 사용 사례를 설계하여 정보 전달과 예술적 표현을 모두 지원한다.
• 사운드화를 음악적 언어를 통한 데이터 전송 채널로 개념화하기 위해 샤논-위버 커뮤니케이션 모델을 변형 적용한다.
• 맥루한의 '매체 자체가 메시지다'라는 개념을 인용하여, 사운드화에서 음악적 언어가 핵심 설계 요소임을 강조한다.
• 정보 중심과 예술적 표현 중심의 두 모드를 전환할 수 있는 이중 모드 시스템을 제안한다.

실험 결과

연구 질문

• RQ1 스마트 시티 환경 내에서 다양한 이질적인 도시 데이터를 실시간으로 표현하기 위해 사운드화 기법을 어떻게 적응시킬 수 있는가?
• RQ2 유비쿼터스 및 모바일 음악 원칙은 어떤 방식으로 청각 피드백을 통해 사용자 참여를 향상시킬 수 있는가?
• RQ3 정보 전달 중심의 데이터 표현과 예술적 표현 간의 균형을 이루기 위한 설계 원칙은 무엇인가?
• RQ4 기계 학습은 도시 센서 데이터와 음악적 파rameter 간 효과적인 교차 모달 매핑을 어떻게 지원할 수 있는가?
• RQ5 사운드화를 단순한 방법이 아니라 매체로 프레임링할 경우 도시 데이터 인식에 어떤 함의가 있는가?

주요 결과

• 유비쿼터스 사운드화는 사운드화, 유비쿼터스 음악, 모바일 컴퓨팅을 융합하여 도시 데이터 표현을 위한 새로운 개념적 프레임워크로 제안된다.
• 논문은 사운드화와 샤논-위버 커뮤니케이션 모델 간의 개념적 연결을 수립하여, 음악적 언어를 데이터 전송의 핵심 채널로 위치시킨다.
• 논문은 음악적 언어의 중요성을 강조하며, 맥루한의 '매체 자체가 메시지다'를 인용하여, 소리의 미학적 형태가 전달되는 데이터만큼이나 중요하다고 주장한다.
• 저자들은 정보 중심 사운드화와 예술 중심 사운드화 사이의 이원론을 식별하고, 양 모드를 왔다 갈 수 있는 시스템을 지지한다.
• 기계 학습을 활용하여 도시 데이터를 음악적 파rameter로 매핑하는 사고 실험적 음악적 스마트 시티 시스템을 설계하여 실시간으로 참가형 데이터 상호작용을 가능하게 한다.
• 이 연구는 기존 도시 음향 환경이나 소음 모니터링과는 구별되며, 기존 도시 소리를 분석하는 것이 아니라 데이터에서 새로운 음악 콘텐츠를 생성한다.