[論文レビュー] A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment

Yingxiu Zhao, Bowen Yu+5 more|arXiv (Cornell University)|Aug 10, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、意味的木構造にノードを追加することで指示データの複雑さを体系的に高める方法であるTree-Instructを提案する。これにより、大規模言語モデル（LLM）の対齊性に与える複雑さの影響を制御可能に分析できる。結果として、複雑さを高めるほど性能が一貫して向上することが示された。例えば、1,000件の指示と10個の追加ノードを用いることで24%の勝率上昇が観察された。これは、固定トークン予算下で、多様な単純データやカリキュラム学習戦略を上回る性能を発揮した。

ABSTRACT

Training large language models (LLMs) with open-domain instruction data has yielded remarkable success in aligning to end tasks and human preferences. Extensive research has highlighted the importance of the quality and diversity of instruction data. However, the impact of data complexity, as a crucial metric, remains relatively unexplored from three aspects: (1)where the sustainability of performance improvements with increasing complexity is uncertain; (2)whether the improvement brought by complexity merely comes from introducing more training tokens; and (3)where the potential benefits of incorporating instructions from easy to difficult are not yet fully understood. In this paper, we propose Tree-Instruct to systematically enhance the instruction complexity in a controllable manner. By adding a specified number of nodes to instructions' semantic trees, this approach not only yields new instruction data from the modified tree but also allows us to control the difficulty level of modified instructions. Our preliminary experiments reveal the following insights: (1)Increasing complexity consistently leads to sustained performance improvements of LLMs. (2)Under the same token budget, a few complex instructions outperform diverse yet simple instructions. (3)Curriculum instruction tuning might not yield the anticipated results; focusing on increasing complexity appears to be the key.

研究の動機と目的

• 指示データの複雑さとLLM対齊性性能の間にある本質的関係を解明すること。
• 複雑さに起因する性能向上が、トークン数の増加に起因するのか、それとも構造的複雑さそのものに起因するのかを特定すること。
• カリキュラム学習（簡単な指示から複雑な指示へ順次学習する戦略）が、指示チューニングにおける有効性を評価すること。
• 元の指示の意図を変えることなく、多様性の不測の増加を避ける形で複雑さを高める手法を開発すること。

提案手法

• Tree-Instructは、大規模言語モデル（LLM）に既存の指示木に指定された数の意味的ノードを挿入するようプロンプトすることで、複雑な指示データを生成する。
• 追加するノード数を複雑さの制御変数として用い、元の指示の意図を保持しつつ構造的深さを高める。
• 順序に依存する影響を避けるために、テキスト系列ではなく意味的木構造を用いることで、複雑さの精密な制御を可能にする。
• データの多様性やトークン数を一定に保ちつつ、複雑さのレベルごとの体系的比較が可能になる。
• ノード数を3、6、10に変化させたデータでモデルを微調整し、AlpacaEvalを用いて性能を評価する。
• ベースラインには、多様な単純データ（Alpaca-4K）、WizardLMの進化したプロンプト、さまざまな学習順序を用いたカリキュラム学習設定が含まれる。

Figure 1 : The scaling law of instruction complexity. We experiment with enhancing the complexity of semantic trees for 1,000 Alpaca instructions by adding extra 3, 6, and 10 nodes. We then evaluate models fine-tuned on instruction data of varying complexities against $\mathtt{text}$ - $\mathtt{davi

実験結果

リサーチクエスチョン

• RQ1 指示データの複雑さを高めることで、LLM対齊性に持続的な性能向上が得られるか。その場合、スケーリング行動はどのようになるか。
• RQ2 複雑さに起因する性能向上が、トークン数の増加に起因する割合はどの程度か。
• RQ3 簡単な指示から複雑な指示へ順次学習するカリキュラム学習は、混合順序や難易度の高いデータから先に学習する方法に比べ、LLM対齊性に有意義な向上をもたらすか。
• RQ4 同じトークン予算下で、少数の複雑な指示が、多様だが単純な指示の集合を上回る性能を発揮できるか。

主な発見

• Tree-Instructによる複雑さの高め方により、持続的な性能向上が得られた。1,000件の指示に10個のノードを追加した場合、24%の勝率上昇が観察された。
• 同じトークン予算下で、少数の複雑な指示（Tree-10-Nodes）は、より多くの多様な単純指示（Alpaca-4K）を上回り、勝率で22%の差を付けた。
• 簡単なデータから複雑なデータへ順次学習するカリキュラム学習では、顕著な向上が得られず、単に最も単純なデータで学習するのと比べて性能向上は限定的であった。
• 最も複雑なデータ（Tree-10-Nodes）で学習したモデルは、AlpacaEvalで50.19%の勝率を達成し、ベースラインのAlpaca-1K（26.40%）やWizardLM（40.37%）を大きく上回った。
• 複雑さに起因する性能向上は、トークン数の増加に起因する部分もあるが、本質的な利点は構造的複雑さにあり、同じトークン制約下でも複雑なデータは単純なデータを上回った。
• パrameter数が大きな現代のLLMは、複雑なサンプルから直接学習可能であることが示され、単純な例への基礎的露出の必要性が低下した。

Figure 2 : The instruction generated by different evolving methods: Tree-instruction after adding ten nodes and WizardLM by iteratively deepening three times. We also demonstrate how Tree-Instruct enhances the complexity of the original instruction’s semantic tree by introducing three nodes (orange)