[논문 리뷰] A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment

Yingxiu Zhao, Bowen Yu외 5명|arXiv (Cornell University)|2023. 08. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 의미적 트리에 노드를 추가하여 지시 데이터의 복잡도를 체계적으로 증가시키는 Tree-Instruct를 제안한다. 이는 LLM의 정렬에 대한 복잡도의 영향을 통제적으로 연구할 수 있도록 한다. 결과적으로 복잡도를 높일수록 성능 향상이 일관되게 관찰되었으며, 예를 들어 1,000개의 지시와 10개의 추가 노드를 사용할 경우 승리율이 24% 향상되었다. 이는 고정된 토큰 예산 하에서 다양성이 높은 단순 데이터나 커리큘럼 학습 전략보다도 뛰어난 성능을 보였다.

ABSTRACT

Training large language models (LLMs) with open-domain instruction data has yielded remarkable success in aligning to end tasks and human preferences. Extensive research has highlighted the importance of the quality and diversity of instruction data. However, the impact of data complexity, as a crucial metric, remains relatively unexplored from three aspects: (1)where the sustainability of performance improvements with increasing complexity is uncertain; (2)whether the improvement brought by complexity merely comes from introducing more training tokens; and (3)where the potential benefits of incorporating instructions from easy to difficult are not yet fully understood. In this paper, we propose Tree-Instruct to systematically enhance the instruction complexity in a controllable manner. By adding a specified number of nodes to instructions' semantic trees, this approach not only yields new instruction data from the modified tree but also allows us to control the difficulty level of modified instructions. Our preliminary experiments reveal the following insights: (1)Increasing complexity consistently leads to sustained performance improvements of LLMs. (2)Under the same token budget, a few complex instructions outperform diverse yet simple instructions. (3)Curriculum instruction tuning might not yield the anticipated results; focusing on increasing complexity appears to be the key.

연구 동기 및 목표

• 지시 데이터의 복잡도와 LLM 정렬 성능 간의 내재적 관계를 조사하는 것.
• 복잡도 증가로 인한 성능 향상이 토큰 수 증가 때문인지, 아니면 본질적인 구조적 복잡도 때문인지 규명하는 것.
• 간단한 지시에서 복잡한 지시로 점진적으로 학습하는 커리큘럼 학습 전략이 지시 훈련에서 효과적인지 평가하는 것.
• 원래 지시의 의도를 유지하면서도 불필요한 다양성의 도입 없이 복잡도를 증가시키는 방법을 개발하는 것.

제안 방법

• Tree-Instruct는 기존 지시 트리에 지정된 수의 의미적 트리 노드를 삽입하도록 LLM을 프롬프팅하여 복잡한 지시 데이터를 생성한다.
• 추가된 노드의 수는 복잡도의 제어 가능한 측도로 기능하며, 원래 지시의 의도를 유지하면서도 구조적 깊이를 증가시킨다.
• 순서 기반 영향을 피하고 정밀한 복잡도 제어를 가능하게 하기 위해, 텍스트 시퀀스 대신 의미적 트리를 사용한다.
• 다른 요소들(예: 데이터 다양성, 토큰 수)을 일정하게 유지하면서 복잡도 수준 간의 체계적 비교를 가능하게 한다.
• 노드 수가 다른 지시 데이터(3, 6, 10개)로 모델을 피팅하고, AlpacaEval을 사용해 성능을 평가한다.
• 기준 모델로는 다양한 단순 데이터(Alpaca-4K), WizardLM의 발전된 프롬프트, 다양한 학습 순서를 가진 커리큘럼 학습 설정이 포함된다.

Figure 1 : The scaling law of instruction complexity. We experiment with enhancing the complexity of semantic trees for 1,000 Alpaca instructions by adding extra 3, 6, and 10 nodes. We then evaluate models fine-tuned on instruction data of varying complexities against $\mathtt{text}$ - $\mathtt{davi

실험 결과

연구 질문

• RQ1 지시 데이터의 복잡도를 높일수록 LLM 정렬 성능 향상이 지속적으로 발생하는가? 만약 그렇다면, 그 스케일링 행동은 어떠한가?
• RQ2 복잡도로 인한 성능 향상의 정도가 토큰 수 증가 때문인지, 아니면 구조적 복잡도 때문인지 어느 정도인가?
• RQ3 간단한 지시에서 어려운 지시로 점진적으로 학습하는 커리큘럼 학습 전략이, 혼합 또는 어려운 지시부터 시작하는 학습보다 LLM 정렬 성능 향상에 기여하는가?
• RQ4 같은 토큰 예산 하에서, 소수의 복잡한 지시가 더 많은 다양성이 있는 단순 지시 집합보다 성능이 뛰어나게 되는가?

주요 결과

• Tree-Instruct를 통해 복잡도를 증가시키면 지속적인 성능 향상이 발생한다: 1,000개의 지시와 10개의 추가 노드를 사용할 경우, 24%의 승리율 향상이 관찰되었다.
• 같은 토큰 예산 하에서, 복잡한 지시의 소수 집합(Tree-10-Nodes)이 더 큰 단순 지시 집합(Alpaca-4K)보다 뛰어나며, 승리율에서 22%의 성능 격차를 보였다.
• 간단한 지시에서 어려운 지시로의 커리큘럼 학습은 유의미한 성능 향상을 이끌지 못했으며, 가장 단순한 데이터로만 학습하는 것과 비교해 성능 향상은 미미했다.
• 가장 복잡한 데이터(예: Tree-10-Nodes)로 학습한 모델은 AlpacaEval에서 50.19%의 승리율을 기록했으며, 기준 모델인 Alpaca-1K(26.40%)와 WizardLM(40.37%)를 크게 앞서며 뚜렷한 성능 우위를 보였다.
• 복잡도로 인한 성능 향상은 토큰 수 증가의 영향도 일부 포함하지만, 핵심적인 이점은 구조적 복잡도에 기인한다. 동일한 토큰 제약 조건 하에서도 복잡한 데이터가 단순한 데이터를 능가한다.
• 매개변수 수가 큰 현대 LLM들은 복잡한 샘플에서 직접 학습할 수 있으며, 이는 더 이상 단순한 예제에 대한 기초 노출가 필요로 하지 않음을 시사한다.

Figure 2 : The instruction generated by different evolving methods: Tree-instruction after adding ten nodes and WizardLM by iteratively deepening three times. We also demonstrate how Tree-Instruct enhances the complexity of the original instruction’s semantic tree by introducing three nodes (orange)