[論文レビュー] Symbol-Equivariant Recurrent Reasoning Models
SE-RRMs は再帰推論モデルにおける記号置換対称性を強制し、強力な Sudoku 外挿と ARC-AGI 競争力の高い結果を、パラメータ数とデータ拡張を抑えつつ達成します。
Reasoning problems such as Sudoku and ARC-AGI remain challenging for neural networks. The structured problem solving architecture family of Recurrent Reasoning Models (RRMs), including Hierarchical Reasoning Model (HRM) and Tiny Recursive Model (TRM), offer a compact alternative to large language models, but currently handle symbol symmetries only implicitly via costly data augmentation. We introduce Symbol-Equivariant Recurrent Reasoning Models (SE-RRMs), which enforce permutation equivariance at the architectural level through symbol-equivariant layers, guaranteeing identical solutions under symbol or color permutations. SE-RRMs outperform prior RRMs on 9x9 Sudoku and generalize from just training on 9x9 to smaller 4x4 and larger 16x16 and 25x25 instances, to which existing RRMs cannot extrapolate. On ARC-AGI-1 and ARC-AGI-2, SE-RRMs achieve competitive performance with substantially less data augmentation and only 2 million parameters, demonstrating that explicitly encoding symmetry improves the robustness and scalability of neural reasoning. Code is available at https://github.com/ml-jku/SE-RRM.
研究の動機と目的
- 構造化推論問題の動機付けと、堅牢でデータ効率の高いアーキテクチャの必要性。
- 記号等変性をアーキテクチャ的に符号化する SE-RRMs の導入。
- 異なるグリッドサイズへの一般化と、少数のパラメータで競争力のある ARC-AGI 性能の提示。
提案手法
- 従来の RRMs を拡張し、記号次元と記号等変性レイヤを導入。
- 同じ埋め込みを特別なトークンを除き記号間で共有する記号埋め込み方式を使用。
- SE-RRM では出力写像を記号次元に対する直接ロジット写像に置き換え、予測を生成。
- 放送型のタスク種別埋め込みを導入して等変性を維持。
- SE-RRM ブロック内で位置次元と記号次元の二つの Transformer スタイル自己注意ブロックを使用。
- 深い監視付き訓練と固定点反復スキームを用い、位置エンコーディングには RoPE2d を使用。
実験結果
リサーチクエスチョン
- RQ1構造化問題で、アーキテクチャレベルでの記号等変性を強制することは学習効率と一般化を高めるか？
- RQ2SE-RRMs は訓練時に見られなかった Sudoku グリッドサイズと記号セットへ外挿できるか（従来の RRMs と比べて）？
- RQ3データ拡張とパラメータ数の点で、ARC-AGI タスクにおける SE-RRM の性能はどうなるか？
- RQ4記号次元を RRM ブロックに追加することで生じる計算的トレードオフは？
- RQ5SE-RRMs はデータ拡張への依存をどの程度減らしつつ、性能を維持・向上できるか？
主な発見
| Model | FSR (4x4) | GPA (4x4) | FSR (9x9) | GPA (9x9) | FSR (16x16) | GPA (16x16) | FSR (25x25) | GPA (25x25) |
|---|---|---|---|---|---|---|---|---|
| HRM | 0 (0-1.32) | 29.19 (27.45-30.95) | 63.53 (63.38-63.67) | 86.11 (86.10-86.12) | – a | – a | – a | – a |
| TRM | 0 (0-1.32) | 45.88 (43.96-47.79) | 71.94 (71.80-72.08) | 89.80 (89.79-89.81) | – a | – a | – a | – a |
| SE-RRM (ours) | 95.46 (92.01-97.08) | 99.15 (98.67-99.41) | 93.73 (93.66-93.81) | 97.58 (97.54-97.63) | 0 (0-1.75) | 51.95 (51.43-52.47) | 0 (0-8.38) | 31.49 (30.22-32.75) |
| GPT-OSS-20B | 100 (98.68-100) | 100 (99.85-100) | 21.67 (13.12-33.62) | – c | – d | – d | – d | – d |
- SE-RRM は 9x9 Sudoku において、完全解答率 (FSR) とグリッド点精度 (GPA) のいずれでも HRM、TRM、GPT-OSS-20B を上回る。
- SE-RRM は 4x4、16x16、25x25 の Sudoku パズルへ一般化可能で、従来の RRMs は外挿できない場合が多い。4x4 で FSR は 95.46% (92.01-97.08)、GPA は 99.15% (98.67-99.41)、9x9 で FSR は 93.73% (93.66-93.81)、GPA は 97.58% (97.54-97.63)；より大きなグリッドへの外挿はデータ不足または限界が示唆される。
- SE-RRM はパラメータ数がわずか 200 万で、他の多くのベースラインより大幅に少なく、ARC-AGI タスクにおいてデータ拡張を抑えつつ競争力のある結果を得る。
- Sudoku 9x9 における GPA は 4x4 に対して 51.95% を達成（16x16 の行は 0 (0-1.75)、25x25 の行は 31.49% などの外挿結果を示す）
- SE-RRM は対称性の明示的な符号化が神経推論の堅牢性とスケーラビリティを向上させることを示す。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。