[논문 리뷰] A Mathematical Abstraction for Balancing the Trade-off Between Creativity and Reality in Large Language Models

Ritwik Sinha, Zhao Song외 1명|arXiv (Cornell University)|2023. 06. 04.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서 사실성과 창의성 간의 트레이드오프를 균형 잡기 위해 가중 조합된 현실성 손실과 창의성 손실을 사용하는 수학적 추상화를 제안한다. 하이퍼파rameter γ ∈ [0,1]을 사용해 복합 손실 함수를 훈련함으로써, 모델은 사실적 정확성과 생성적 창의성 사이에서 동적으로 조정할 수 있으며, 각 반복에서 O((nnz(A) + d^ω)poly(log(n/δ)))의 시간 복잡도를 갖는 스 tochastic Newton-유사 알고리즘을 통해 증명 가능 보장이 있는 최적 해에 수렴한다.

ABSTRACT

Large Language Models have become popular for their remarkable capabilities in human-oriented tasks and traditional natural language processing tasks. Its efficient functioning is attributed to the attention mechanism in the Transformer architecture, enabling it to concentrate on particular aspects of the input. LLMs are increasingly being used in domains such as generating prose, poetry or art, which require the model to be creative (e.g. Adobe firefly). LLMs possess advanced language generation abilities that enable them to generate distinctive and captivating content. This utilization of LLMs in generating narratives shows their flexibility and potential for use in domains that extend beyond conventional natural language processing duties. In different contexts, we may expect the LLM to generate factually correct answers, that match reality; e.g., question-answering systems or online assistants. In such situations, being correct is critical to LLMs being trusted in practice. The Bing Chatbot provides its users with the flexibility to select one of the three output modes: creative, balanced, and precise. Each mode emphasizes creativity and factual accuracy differently. In this work, we provide a mathematical abstraction to describe creativity and reality based on certain losses. A model trained on these losses balances the trade-off between the creativity and reality of the model.

연구 동기 및 목표

• 다양한 응용 분야에서 대규모 언어 모델(LLMs)에서 창의성과 사실 정확성 간의 근본적 도전 과제를 해결하기 위해.
• 손실 함수를 사용하여 창의성과 현실성 간의 트레이드오프를 미분 가능 최적화 문제로 공식화하기 위해.
• 하나의 하이퍼파rameter γ에 기반해 LLM이 훈련 시점에 출력 스타일을 동적으로 조정할 수 있도록 하는 훈련 방법론을 개발하기 위해.
• 모델 파ram터와 데이터에 대한 현실적인 가정 하에 최적화 과정의 이론적 수렴 보장을 제공하기 위해.
• 창작 글쓰기 도구 및 신뢰할 수 있는 어시스턴트와 같은 실세계 시스템에 균형 잡힌 LLM을 실용적으로 구현하기 위해.

제안 방법

• 복합 손실 함수를 도입한다: (1−γ)·L_reality + γ·L_creativity, 여기서 γ ∈ [0,1]은 사실 정확성과 생성적 신선도 사이의 트레이드오프를 제어한다.
• 최적화 문제를 정규화된 목적 함수로 공식화한다: (1−γ)·L_exp(x) − γ·L_ent(x) + L_reg(x), 지수 손실과 엔트로피 손실을 조합한다.
• 근사 헤시안 역행렬을 부분 샘플링된 대각 매트릭스를 통해 계산하여 계산 비용을 줄이는 스 tochastic Newton-유사 알고리즘을 제안한다.
• 정밀도 ε₁ = Θ(1)로 설정된 부분 샘플링 절차를 통해 계산된 Q = B_diag(x_t) + diag(w∘w)에서 유도된 희소 대각 예비 조정 행렬 Q̃을 사용한다.
• 새로운 귀납 보조정리를 사용한 잔차 분석을 통해 수렴성을 증명하며, 유한한 헤시안 및 기울기 조건 하에서 res_{t+1} ≤ 0.4·res_t 를 보인다.
• 각 반복에서 시간 복잡도가 O((nnz(A) + d^ω)poly(log(n/δ)))이며, (1−δ) 확률로 ε-정확도에 도달할 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 LLM에서 창의성과 사실 정확성 간의 트레이드오프는 미분 가능 최적화 문제로 공식화될 수 있는가?
• RQ2 하나의 하이퍼파rameter γ는 훈련 시점에 학습된 방식으로 창의적이고 정확한 출력 간의 균형을 제어할 수 있는가?
• RQ3 실제와 창의성 성분을 조합한 복합 손실을 최적화할 때 수렴성과 정확성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 고차원 LLM에서 이러한 복합 목표 함수에 대해 효율적이고 확장 가능한 최적화를 달성할 수 있는가?
• RQ5 스 tochastic 헤시안 근사 기반으로 균형 잡힌 LLM을 훈련시킬 때 통계적 정확성과 계산 효율성을 유지할 수 있는가?

주요 결과

• 표준적인 모델 노름과 데이터에 대한 가정 하에, 제안된 알고리즘은 확률 최소 1−δ로 ε-정확도의 해에 도달한다.
• 반복당 시간 복잡도가 O((nnz(A) + d^ω)poly(log(n/δ)))이므로 대규모 모델에 대해 확장 가능하다.
• 유한한 헤시안 및 기울기 조건 하에서 잔차 감소율이 res_{t+1} ≤ 0.4·res_t 를 만족하며, 전역 수렴을 보장한다.
• 이론적 분석을 통해 손실 함수의 헤시안이 양의 정부호이자 리프시츠 연속임을 확인하여 안정적인 최적화를 지원한다.
• 알고리즘은 높은 확률로 진짜 헤시안을 근사하는 부분 샘플링된 대각 예비 조정 행렬 Q̃을 사용하여 효율적인 계산을 가능하게 한다.
• 하이퍼파rameter γ를 통한 출력 스타일의 동적 조정을 지원하여 '창의적', '균형 잡힘', 또는 '정밀함' 모드에서의 구현을 가능하게 한다.