[論文レビュー] POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation

Zeju Qiu, Lixin Liu+3 more|arXiv (Cornell University)|Mar 5, 2026

Topic Modeling被引用数 0

ひとこと要約

POET-X は正交等価変換を用いて安定した LLM 事前学習を可能にする、メモリと計算量を大幅に低減する POET のスケーラブルな派生である。単一の Nvidia H100 GPU 上の十億パラメータモデルで実証。

ABSTRACT

Efficient and stable training of large language models (LLMs) remains a core challenge in modern machine learning systems. To address this challenge, Reparameterized Orthogonal Equivalence Training (POET), a spectrum-preserving framework that optimizes each weight matrix through orthogonal equivalence transformation, has been proposed. Although POET provides strong training stability, its original implementation incurs high memory consumption and computational overhead due to intensive matrix multiplications. To overcome these limitations, we introduce POET-X, a scalable and memory-efficient variant that performs orthogonal equivalence transformations with significantly reduced computational cost. POET-X maintains the generalization and stability benefits of POET while achieving substantial improvements in throughput and memory efficiency. In our experiments, POET-X enables the pretraining of billion-parameter LLMs on a single Nvidia H100 GPU, and in contrast, standard optimizers such as AdamW run out of memory under the same settings.

研究の動機と目的

• 正交等価変換（OET）を通じて LLM の訓練の安定性と一般化能力を改善する。
• 性能を損なうことなく POET のメモリフットプリントと計算負荷を低減する。
• POET-X の大規模事前学習をコモディティ機や限定ハードウェアでの実用性を示す。

提案手法

• POET フレームワークでスペクトルを保持するために各ウェイト行列に正交等価変換を適用する。
• POET-X で計算コストを削減し OET を実装する訓練設計を再設計する。
• 安定性と一般化を維持しつつスループットを向上させ、メモリ使用を低減する。
• 単一の Nvidia H100 GPU 上で十億パラメータ LLM の事前学習によるスケーラビリティを実証する。

実験結果

リサーチクエスチョン

• RQ1 POET-X は POET の安定性と一般化の利点を大幅な計算・メモリ要求の低減とともに保持できるか？
• RQ2 AdamW などの標準オプティマイザがメモリ制限を超える場合でも POET-X を用いて単一の H100 GPU で十億パラメータの LLM を事前学習できるか？
• RQ3 元の POET および従来のオプティマイザと比較して POET-X の訓練スループットとメモリ効率にどんな影響があるか？

主な発見

• POET-X は元の POET フレームワークの安定性と一般化の利点を維持している。
• POET-X はベースライン POET 実装と比較して計算コストとメモリ使用を大幅に削減する。
• POET-X は単一の Nvidia H100 GPU 上で十億パラメータ LLM の事前学習を可能にする。
• 同じ設定では AdamW のような標準オプティマイザはメモリ不足になる。
• このアプローチはパフォーマンス特性を保ちながらスループットとメモリ効率を向上させる。