[論文レビュー] Contrastive Concept-Tree Search for LLM-Assisted Algorithm Discovery

Timothée Leleu, Sudeera Gunathilaka+2 more|arXiv (Cornell University)|Feb 3, 2026

Evolutionary Algorithms and Applications被引用数 0

ひとこと要約

paperはContrastive Concept-Tree Search (CCTS) を導入します。これは生成アルゴリズムから階層的概念木を学習し、LLMを補助する探索を有用な概念の組み合わせへと誘導し、有害な組み合わせを避けることで、効率と解釈可能性を向上させるsemanticで対比ガイド型の手法です。

ABSTRACT

Large language Model (LLM)-assisted algorithm discovery is an iterative, black-box optimization process over programs to approximatively solve a target task, where an LLM proposes candidate programs and an external evaluator provides task feedback. Despite intense recent research on the topic and promising results, how can the LLM internal representation of the space of possible programs be maximally exploited to improve performance is an open question. Here, we introduce Contrastive Concept-Tree Search (CCTS), which extracts a hierarchical concept representation from the generated programs and learns a contrastive concept model that guides parent selection. By reweighting parents using a likelihood-ratio score between high- and low-performing solutions, CCTS biases search toward useful concept combinations and away from misleading ones, providing guidance through an explicit concept hierarchy rather than the algorithm lineage constructed by the LLM. We show that CCTS improves search efficiency over fitness-based baselines and produces interpretable, task-specific concept trees across a benchmark of open Erdős-type combinatorics problems. Our analysis indicates that the gains are driven largely by learning which concepts to avoid. We further validate these findings in a controlled synthetic algorithm-discovery environment, which reproduces qualitatively the search dynamics observed with the LLMs.

研究の動機と目的

• 構造化された意味概念を活用することで、生の適応度だけに依存する探索を改善する動機づけ。
• 有益な概念の組み合わせを目指して親選択をバイアスする対比的・概念ベースのモデルを開発する。
• Erdős風組合せ問題全般にわたる解釈可能性とタスク特異的概念木を実証する。
• 実世界のLLM搭載および合成的なアルゴリズム発見環境の両方でCCTSの堅牢性とダイナミクスを示す。

提案手法

• 各ノードを意味概念とし、エッジが精緻化を表す階層的概念空間を定義する。概念は祖先閉包の二値ベクトルbとして活性化される。
• 良い performers と悪い performers を区別する2つの概念分布p_eta+(b) と p_eta−(b) を学習する対照的クロスエントロピー更新を用い、尤度比ウェイトw(b)を計算して親選択をバイアスする。
• 概念の有用性を、木構造のParzen推定に似た葉に制限を持つ階層モデル（効率的で解釈可能）で表現する。
• 葉概念をプロンプトに注入して子生成を誘導し、新規/希少概念の新規性を促進する概念探索機構を維持する。
• 評価済みプログラムとその特徴のアーカイブA_tを用いた進化ループを維持し、探索（一様）と活用（概念ガイドまたは他の戦略）を混合する。
• Erdős風問題のベンチマーク（円のパッキング、ハイルブロント三角形、算術 Kakeya、Square-in-Square）と合成的発見環境でダイナミクスと概念有用性学習を検証する。

(a) Real task: circle packing

実験結果

リサーチクエスチョン

• RQ1 明示的な意味概念階層の学習は、適合度ベースの選択のみと比べて、LLM支援アルゴリズム発見の効率と質を改善するか。
• RQ2 対照的で概念ベースの統計は、回避すべき概念を特定する主要な推進力となるか。
• RQ3 学習された概念有用性は実世界と合成的探索ダイナミクスとどう関係し、探索-活用のバランスにどう影響するか。
• RQ4 Erdős風組合せ問題に対して、どのような解釈可能でタスク特異的な概念木が現れるか。
• RQ5 CCTSは異なる問題設定やLLM構成に対してどの程度頑健か。

主な発見

• CCTSは、実世界と合成の両方の設定で、すべてのタスクと反復においてベースライン手法を一貫して上回る。
• 利益の高い概念を見つけるだけでなく、避けるべき概念（ネガティブ概念）を学習することが成績向上の主な原動力である。
• LLMsから抽出された概念木は問題構造を反映し、円のパッキングとハイルブロント三角形のタスクで階層的で解釈可能な意味的成分を明らかにする。
• 合成的な教師木モデルはLLMベースの結果と定性的に一致し、学習した概念重みは潜在概念有用性と相関する。
• 最適な活用確率p_exploitはタスクによって異なり、潜在概念木構造が探索ダイナミクスに影響を与えることを示唆する。

(b) Synthetic task