[論文レビュー] Probabilistic Rule Realization and Selection

Haizi Yu, Tianxi Li+1 more|arXiv (Cornell University)|Sep 6, 2017

Data Mining Algorithms and Applications参考文献 1被引用数 3

ひとこと要約

本稿では、離散入力空間における確率的ルール実現と選択のための統一的で二重凸最適化フレームワークを提案する。2段階の次元削減とグループラasso正則化を用いることで、効率的でスケーラブルなルール準拠サンプル生成が可能となり、実世界のルールセットを用いた音楽作曲および分析において効果的に実証された。

ABSTRACT

Abstraction and realization are bilateral processes that are key in deriving intelligence and creativity. In many domains, the two processes are approached through rules: high-level principles that reveal invariances within similar yet diverse examples. Under a probabilistic setting for discrete input spaces, we focus on the rule realization problem which generates input sample distributions that follow the given rules. More ambitiously, we go beyond a mechanical realization that takes whatever is given, but instead ask for proactively selecting reasonable rules to realize. This goal is demanding in practice, since the initial rule set may not always be consistent and thus intelligent compromises are needed. We formulate both rule realization and selection as two strongly connected components within a single and symmetric bi-convex problem, and derive an efficient algorithm that works at large scale. Taking music compositional rules as the main example throughout the paper, we demonstrate our model's efficiency in not only music realization (composition) but also music interpretation and understanding (analysis).

研究の動機と目的

• 高次元離散空間における効率的ルール実現と知的なルール選択の二重的課題に取り組む。
• ルール実現と選択を一貫的に結合する対称的かつ大規模な最適化フレームワークを構築する。
• ルールセットに一貫性が欠けたり不完全であったりする状況においても、能動的で解釈可能な一貫性があり意味のあるルールの選択を可能にする。
• 実際および人工のルールセットを用いて、音楽作曲、解釈、分析におけるフレームワークの有効性を実証する。
• 抽象的でルールに基づく知識を有するあらゆる分野へ、本手法を一般化する。

提案手法

• 確率および重み変数の上での単一の二重凸最適化問題として、ルール実現と選択を定式化する。
• 2段階の次元削減を導入：グループデオーラップとスクリーニングにより、問題サイズを縮小する。
• 重みとルールの関連性および一貫性に基づき、ルールを選択・重みづけするためのエラスティックネット罰則のグループレベル一般化を適用する。
• 単体制約を満たすために補助行を導入した修正非負ラasso定式化を用い、元の問題と正確に同等となるようにする。
• lassoスパarsityに基づくスクリーニング技術を用いて、主最適化を実行する前に確率がゼロとなる変数を特定・削除する。
• 命題1および命題2を用いた理論的保証を導出。修正ラassoと単体制約付き最小二乗問題との間の同等性を示す。

実験結果

リサーチクエスチョン

• RQ1 高次元離散空間において、多様性とルール準拠を維持したまま、効率的なルール実現はどのように実現できるか？
• RQ2 一貫性のない、あるいは矛盾するルールの間から、知的な創造的実現を可能にする有効な選択方法とは何か？
• RQ3 統一的最適化フレームワークが、対称的にルール実現と選択を結合することで、効率性と解釈可能性の両方を向上させられるか？
• RQ4 次元削減とスパarsity誘導ペナルティをどのように組み合わせることで、大規模なルールセットへのスケーラビリティを達成できるか？
• RQ5 このフレームワークは、音楽を越えて、他のルールベースの分野へどの程度一般化可能か？

主な発見

• 提案されたフレームワークは、人工的および実世界のルールセットを用いて、スケールに応じた多様でルール準拠の音楽サンプルを効果的に生成した。
• 2段階の次元削減（デオーラップとスクリーニング）により、不要な変数を早期に削除することで、計算コストを顕著に低減した。
• グループラassoに基づくルール重みづけメカニズムにより、ルールセットに矛盾があっても一貫性があり意味のあるルールを優先的に選択できる知的な選択が可能となった。
• 理論的分析により、弱い条件下でも修正非負ラasso定式化が単体制約付き最小二乗問題の解を正確に回復できることを証明した。
• 実験的結果から、単純な実現法に比べて、多様性およびルール準拠性の両面で優れた性能を示し、ルール選択の正確性にも明確な向上が見られた。
• フレームワークは一般化可能であり、抽象的でルールに基づく推論を要する非音楽的分野への応用も可能である。