[論文レビュー] When Noise Lowers The Loss: Rethinking Likelihood-Based Evaluation in Music Large Language Models

Xiaosha Li, Chun Y. Liu+1 more|arXiv (Cornell University)|Feb 2, 2026

Music and Audio Processing被引用数 0

ひとこと要約

この論文は、音楽が攪乱されると尤度ベースの損失が低下する可能性を示す「Context Amnesia Effect」を導入し、音楽 LLMs の評価には絶対損失より損失曲線の形状を分析することを提案します。

ABSTRACT

The rise of music large language models (LLMs) demands robust methods of evaluating output quality, especially in distinguishing high-quality compositions from "garbage music". Curiously, we observe that the standard cross-entropy loss -- a core training metric -- often decrease when models encounter systematically corrupted music, undermining its validity as a standalone quality indicator. To investigate this paradox, we introduce noise injection experiment, where controlled noise signal of varying lengths are injected into musical contexts. We hypothesize that a model's loss reacting positively to these perturbations, specifically a sharp increase ("Peak" area) for short injection, can serve as a proxy for its ability to discern musical integrity. Experiments with MusicGen models in the audio waveform domain confirm that Music LLMs respond more strongly to local, texture-level disruptions than to global semantic corruption. Beyond exposing this bias, our results highlight a new principle: the shape of the loss curve -- rather than its absolute value -- encodes critical information about the quality of the generated content (i.e., model behavior). We envision this profile-based evaluation as a label-free, model-intrinsic framework for assessing musical quality -- opening the door to more principled training objectives and sharper benchmarks.

研究の動機と目的

• 音楽 LLM の出力を絶対損失値だけでなく、堅牢な評価の動機づけを行う。
• 音楽シーケンスの制御されたノイズ攪乱下で、反直感的な損失挙動を示す。
• トークン単位の損失ダイナミクスにおける Context Amnesia Effect を導入・特徴づける。
• 損失曲線の形状を用いて音楽品質を評価するプロフィールベースの評価フレームワークを提案する。

提案手法

• 音声入力に対して長さの異なる攪乱を加え、トークンごとの損失変化を測定するノイズ注入実験を実施する。
• Perturbation の影響を定量化するために Per-token 損失差 Delta ell_t を定義する。
• 複数の MusicGen モデルとデータセット（TrainingSet、Generated、OOD）および異なる攪乱長さで損失挙動を分析する。
• 発見の一般性を検証するため、順序シャッフルなど他の攪乱にも分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 絶対的なクロスエントロピー損失は、音楽 LLM における攪乱や品質を信頼性高く反映するか。
• RQ2 攪乱の長さは損失にどう影響し、攪乱下のトークンごとの損失曲線の形はどうなるか。
• RQ3 損失曲線のプロフィール（Peak、Assimilation、Recovery）の視点は、 raw 損失より音楽品質を better signal できるか。
• RQ4 モデル、データセット、攪乱タイプ（ノイズとシャッフル）を超えて発見は頑健か。

主な発見

• 短い攪乱は鋭い損失ピークを引き起こすが、より長い攪乱は損失を低下させる（コンテキスト・アムネシア）。
• モデルとデータセットを跨いで、攪乱長を増加させると負の損失差が生じ、攪乱が長いほど損失が低下することを示す。
• 絶対損失は攪乱や音楽品質を検出するのに信頼できない。損失曲線の形状の方が信号としてより信頼性が高い（特に発生ピークが有益）。
• トークン単位の損失ダイナミクスには三段階の領域がある：ピーク領域、同化領域、回復領域。
• 順序シャッフルは類似の損失曲線パターンを生み出し、Context Amnesia Effect の一般性を確認した。