[論文レビュー] Musical Smart City: Perspectives on Ubiquitous Sonification

Pedro Sarmento, Ove Holmqvist+1 more|arXiv (Cornell University)|Jun 22, 2020

Tactile and Sensory Interactions参考文献 38被引用数 5

ひとこと要約

本稿は、スマートシティのデータをリアルタイムでインタラクティブな音楽体験に変換するための新規アプローチとして、ユビキタス・サノフィケーションを提案する。音響化、ユビキタス音楽、モバイルコンピューティングを統合し、都市データを聴覚的に把握できるようにし、参加型の音楽駆動型データインタラクションによって環境認識を高める。

ABSTRACT

Smart cities are urban areas with sensor networks that collect data used towards efficient management. As a source of ubiquitous data, smart city initiatives present opportunities to enhance inhabitants' urban awareness. However, making sense of smart city data is challenging and there is a gap between available data and end-user applications. Sonification emerges as a promising method for the interpretation of smart city data and the production of novel musical experiences. In this paper, we first present the smart city paradigm. We then cover the topics of ubiquitous and mobile music, followed by an overview of sonification research. Finally, we propose an approach entitled ubiquitous sonification and present the initial design of a speculative use case for musical smart city systems, leveraging user and urban data to inform behaviour.

研究の動機と目的

• 豊富なスマートシティセンサーのデータと、その効果的なユーザー解釈方法との間のギャップを埋めるため。
• 音響モダリティを活用することで、都市環境における視覚的データ表現を拡張する方法を検討するため。
• ユビクイタス音楽およびモバイル音楽の原則を音響化と統合し、動的でユーザー中心の都市サウンドスケープを創出するため。
• リアルタイムで文脈に応じた都市データの音楽的表現を可能にする、新しいパラダイム「ユビクイタス・サノフィケーション」を提唱するため。
• 市民が聴覚フィードバックと創造的インタラクションを通じて都市データに能動的に関与できる、音楽的スマートシティシステムの実現を想定するため。

提案手法

• 音響化技術とユビクイタス・モバイル音楽フレームワークを統合し、都市データのリアルタイムで文脈に応じた音声レンダリングを可能にする。
• 次元削減および都市データストリームと音楽的パラメータ（例：音高、リズム、トーン）間のクロスモーダルマッピングに機械学習を活用する。
• 都市データとユーザーのデータが音楽的出力を規定する、予想されるユースケースを提示し、情報的表現と芸術的表現の両方を支援する。
• 音響化を音楽言語によるデータ伝送のチャネルとして概念化するため、シャノン＝ウィーバーの通信モデルを適応する。
• マクルーハンの「メディアそのものがメッセージである」を援用し、音響化の設計要因として音楽言語の重要性を強調する。
• 情報指向と芸術的表現の両モードを切り替え可能な二重モードシステムを提唱する。

実験結果

リサーチクエスチョン

• RQ1 スマートシティ環境において、多様で異種の都市データをリアルタイムに表現するための音響化技術は、どのように適応可能か？
• RQ2 ユビクイタス・モバイル音楽の原則は、聴覚フィードバックを通じて都市データとのユーザーの関与をどのように高められるか？
• RQ3 情報的データ表現と芸術的表現の両立を実現するための設計原則は何か？
• RQ4 機械学習は、都市センサーのデータと音楽的パラメータとの間で、どのように効果的なクロスモーダルマッピングを支援できるか？
• RQ5 音響化を単なる手法ではなく、メディアとして位置づけることの都市データ認識に与える影響は何か？

主な発見

• ユビクイタス・サノフィケーションは、音響化、ユビクイタス音楽、モバイルコンピューティングを統合した、都市データ表現のための新規概念的フレームワークとして提唱される。
• 本稿は、音響化とシャノン＝ウィーバー通信モデルとの間の概念的関連を確立し、音楽言語をデータ伝送の重要なチャネルとして位置づける。
• 音楽言語の重要性を強調し、マクルーハンの「メディアそのものがメッセージである」を援用して、音の美的形態が伝えるデータそのものと同等に重要であると主張する。
• 情報指向と芸術的指向の二極性を特定し、両モードをユーザーが切り替え可能なシステムの実現を提唱する。
• 都市データを音楽的パラメータにマッピングするための機械学習を活用し、リアルタイムで参加型のデータ参加を可能にする、予想される音楽的スマートシティシステムを設計する。
• 本研究は、環境音響やノイズモニタリングとは異なり、既存の都市音を分析するのではなく、データから新たな音楽的コンテンツを生成する点で差別化される。