[论文解读] A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment

Yingxiu Zhao, Bowen Yu+5 more|arXiv (Cornell University)|Aug 10, 2023

Topic Modeling被引用 4

一句话总结

本文提出 Tree-Instruct，一种通过向语义树中添加节点来系统性提升指令数据复杂度的方法，从而实现对复杂度影响 LLM 对齐效果的受控研究。结果表明，提升复杂度能持续提升性能——例如，在 1,000 条指令和增加 10 个节点的情况下，胜率提升达 24%，在固定 token 预算下，其表现优于多样化的简单数据和课程学习策略。

ABSTRACT

Training large language models (LLMs) with open-domain instruction data has yielded remarkable success in aligning to end tasks and human preferences. Extensive research has highlighted the importance of the quality and diversity of instruction data. However, the impact of data complexity, as a crucial metric, remains relatively unexplored from three aspects: (1)where the sustainability of performance improvements with increasing complexity is uncertain; (2)whether the improvement brought by complexity merely comes from introducing more training tokens; and (3)where the potential benefits of incorporating instructions from easy to difficult are not yet fully understood. In this paper, we propose Tree-Instruct to systematically enhance the instruction complexity in a controllable manner. By adding a specified number of nodes to instructions' semantic trees, this approach not only yields new instruction data from the modified tree but also allows us to control the difficulty level of modified instructions. Our preliminary experiments reveal the following insights: (1)Increasing complexity consistently leads to sustained performance improvements of LLMs. (2)Under the same token budget, a few complex instructions outperform diverse yet simple instructions. (3)Curriculum instruction tuning might not yield the anticipated results; focusing on increasing complexity appears to be the key.

研究动机与目标

• 探究指令数据复杂度与 LLM 对齐性能之间的内在关系。
• 确定性能提升是否源于 token 数量增加，而非结构复杂度本身。
• 评估课程学习在指令微调中的有效性，即从简单到复杂的指令顺序进行训练。
• 开发一种在不引入额外多样性或改变原始指令意图的前提下提升复杂度的方法。

提出的方法

• Tree-Instruct 通过提示 LLM 在现有指令树中插入指定数量的语义树节点，生成复杂指令数据。
• 添加节点的数量作为复杂度的受控度量，同时保持原始指令意图不变，仅增加结构深度。
• 使用语义树而非文本序列，以避免顺序依赖性的影响，并实现对复杂度的精确控制。
• 该方法可在保持数据多样性与 token 数量等其他因素恒定的前提下，实现不同复杂度层级之间的系统性比较。
• 在具有不同节点数（3、6、10）的指令数据上微调模型，并使用 AlpacaEval 评估性能。
• 基线方法包括多样化的简单数据（Alpaca-4K）、WizardLM 的进化提示，以及采用不同训练顺序的课程学习设置。

Figure 1 : The scaling law of instruction complexity. We experiment with enhancing the complexity of semantic trees for 1,000 Alpaca instructions by adding extra 3, 6, and 10 nodes. We then evaluate models fine-tuned on instruction data of varying complexities against $\mathtt{text}$ - $\mathtt{davi

实验结果

研究问题

• RQ1 增加指令数据复杂度是否能持续提升 LLM 对齐性能？如果是，其扩展行为如何？
• RQ2 性能提升在多大程度上源于 token 数量的增加，而非结构复杂度本身？
• RQ3 与混合训练或先训练难样本相比，从简单到复杂的课程学习是否能显著提升 LLM 对齐性能？
• RQ4 在相同 token 预算下，少量复杂指令能否优于大量多样化但简单的指令？

主要发现

• 通过 Tree-Instruct 提升复杂度可带来持续的性能增益：当使用 1,000 条指令并增加 10 个节点时，胜率提升了 24%。
• 在相同 token 预算下，少量复杂指令（Tree-10-Nodes）的表现优于大量多样化简单指令（Alpaca-4K），胜率差距达 22%。
• 从简单到复杂的课程学习并未带来显著增益；与仅训练最简单数据相比，性能提升微乎其微。
• 在最复杂数据（Tree-10-Nodes）上微调的模型在 AlpacaEval 上达到 50.19% 的胜率，显著优于基线模型 Alpaca-1K（26.40%）和 WizardLM（40.37%）。
• 复杂度带来的性能增益部分源于 token 数量的增加，但核心优势在于结构复杂度本身，因为即使在相同 token 约束下，复杂数据仍优于简单数据。
• 参数量庞大的现代 LLM 似乎能够直接从复杂样本中学习，从而减少对简单示例的初始依赖。

Figure 2 : The instruction generated by different evolving methods: Tree-instruction after adding ten nodes and WizardLM by iteratively deepening three times. We also demonstrate how Tree-Instruct enhances the complexity of the original instruction’s semantic tree by introducing three nodes (orange)