[論文レビュー] Analyzing Visual Mappings of Traditional and Alternative Music Notation

Matthias Miller, Jonas Häußler+3 more|arXiv (Cornell University)|Oct 25, 2018

Music Technology and Sound Studies被引用数 5

ひとこと要約

本稿では、情報可視化の原則と楽譜デザインを統合した構造化された可視化パイプラインを提案する。このパイプラインは、ゲシュタルト法則と可視化チャnelを用いて音楽的特徴を視覚変数にマッピングすることで、伝統的および代替的楽譜の系統的比較とイノベーションを可能にし、設計上のギャップや多様なユーザーおよびタスクに特化したシステムの機会を明らかにする。

ABSTRACT

In this paper, we postulate that combining the domains of information visualization and music studies paves the ground for a more structured analysis of the design space of music notation, enabling the creation of alternative music notations that are tailored to different users and their tasks. Hence, we discuss the instantiation of a design and visualization pipeline for music notation that follows a structured approach, based on the fundamental concepts of information and data visualization. This enables practitioners and researchers of digital humanities and information visualization, alike, to conceptualize, create, and analyze novel music notation methods. Based on the analysis of relevant stakeholders and their usage of music notation as a mean of communication, we identify a set of relevant features typically encoded in different annotations and encodings, as used by interpreters, performers, and readers of music. We analyze the visual mappings of musical dimensions for varying notation methods to highlight gaps and frequent usages of encodings, visual channels, and Gestalt laws. This detailed analysis leads us to the conclusion that such an under-researched area in information visualization holds the potential for fundamental research. This paper discusses possible research opportunities, open challenges, and arguments that can be pursued in the process of analyzing, improving, or rethinking existing music notation systems and techniques.

研究の動機と目的

• 情報可視化と音楽研究を統合し、楽譜デザインの系統的分析を可能にする。
• 伝統的および代替的楽譜における音楽的特徴の視覚的マッピングを特定・分類する。
• 新規楽譜システムの作成と評価を支援する再利用可能な設計パイプラインを開発する。
• 特に非専門家（例：読み書き障害のある学習者）に対して課題を抱える伝統的楽譜の限界を是正する。
• 現代の可視化技術（例：色、動き、ギフト）が、歴史的制約を超えて音楽的表現をどのように向上させられるかを検討する。

提案手法

• 著者らは、情報可視化の原則を用いて、音楽的次元（例：音高、長さ、ダイナミクス）を視覚変数（例：位置、色、形状）にマッピングする可視化パイプラインを定義する。
• 視覚チャネルを知覚的および意味的タイプに分類し、文脈的情報を提供する位置、色、サイズ、テキストアノテーションを含む。
• ゲシュタルト法則（例：近接性、類似性）を適用して、音楽的関係の効果的視覚エンコードを支援する。
• 15の楽譜システムの比較的分析を通じてパイプラインを検証し、主要な音楽的特徴におけるエンコード戦略を分類する。
• 視覚的エンコードを特定のユーザーのタスクと知覚的目標に一致させることで、既存楽譜の逆工程解析と新規楽譜の設計を両立する。
• フレームワークは拡張可能であり、コードやトーンの特徴などの追加の音楽的次元の今後の統合を許容する。

実験結果

リサーチクエスチョン

• RQ1 情報可視化の原則を、楽譜の設計と分析に系統的に適用する方法は何か？
• RQ2 伝統的および代替的楽譜で、音楽的次元をエンコードするために一般的に使われる視覚的マッピングは何か？
• RQ3 現在の楽譜は、色、動き、インタラクティブ要素といった現代の可視化技術をどれほど活用していないか？
• RQ4 学習者や読み書き障害のある読者といった特定のユーザー集団に最適化された視覚的デザイン選択はどのように最適化できるか？
• RQ5 多様な楽譜システム間の視覚的エンコードを比較することで、どのような設計ガイドラインが導かれるか？

主な発見

• 分析により、標準化された伝統的楽譜は、アクセシビリティと理解度を向上させる可能性を秘めた現代の視覚チャネル（例：色、動き）をしばしば未活用していることが明らかになった。
• 読み書き障害のあるユーザーは、音高に依存しない視覚的キュー（例：色付きの背景、空間的配置）を用いた代替楽譜から、音高の区別をより効果的に行える利点を得ている。
• 意味的チャネル（例：テンポ、ダイナミクス、楽器のテキスト記述）は頻繁に使用されているが、楽譜間で一貫性に欠け、解釈上の課題を生じさせている。
• コード構造のための標準化された視覚的エンコードが不足しており、コードを視覚的変数に直接マッピングするシステムは少数にとどまっている。これは設計上のギャップを示唆している。
• 提案された可視化パイプラインにより、楽譜の系統的比較と設計が可能となり、特定のタスク（例：演奏、高レベルな音楽分析）に対して特定の視覚的マッピングがより効果的であることが判明した。
• フレームワークは、現代の可視化技術を活用して、ターゲットユーザーの明確な理解度向上と認知的負荷の低減を実現するタスク特化型楽譜を設計できると示している。