[论文解读] A Mathematical Abstraction for Balancing the Trade-off Between Creativity and Reality in Large Language Models

Ritwik Sinha, Zhao Song+1 more|arXiv (Cornell University)|Jun 4, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种数学抽象方法，通过使用现实性与创造性损失的加权组合来平衡大型语言模型（LLMs）中的权衡。通过在复合损失函数上进行训练，其中超参数 γ ∈ [0,1]，模型能够动态调整事实准确性与生成新颖性之间的平衡，利用具有 O((nnz(A) + d^ω)poly(log(n/δ))) 时间复杂度的随机牛顿型算法实现收敛，并提供可证明的保证。

ABSTRACT

Large Language Models have become popular for their remarkable capabilities in human-oriented tasks and traditional natural language processing tasks. Its efficient functioning is attributed to the attention mechanism in the Transformer architecture, enabling it to concentrate on particular aspects of the input. LLMs are increasingly being used in domains such as generating prose, poetry or art, which require the model to be creative (e.g. Adobe firefly). LLMs possess advanced language generation abilities that enable them to generate distinctive and captivating content. This utilization of LLMs in generating narratives shows their flexibility and potential for use in domains that extend beyond conventional natural language processing duties. In different contexts, we may expect the LLM to generate factually correct answers, that match reality; e.g., question-answering systems or online assistants. In such situations, being correct is critical to LLMs being trusted in practice. The Bing Chatbot provides its users with the flexibility to select one of the three output modes: creative, balanced, and precise. Each mode emphasizes creativity and factual accuracy differently. In this work, we provide a mathematical abstraction to describe creativity and reality based on certain losses. A model trained on these losses balances the trade-off between the creativity and reality of the model.

研究动机与目标

• 解决在多样化应用场景中，大型语言模型（LLMs）在创造力与事实准确性之间权衡的根本挑战。
• 将创造力与现实之间的权衡形式化为一个使用损失函数的可微分优化问题。
• 开发一种训练方法，使 LLM 能够基于单个超参数 γ 动态调整其输出风格。
• 在对模型参数和数据的现实假设下，为优化过程提供理论收敛保证。
• 实现在创意写作工具和可信助手等真实世界系统中部署平衡型 LLM 的可行性。

提出的方法

• 该方法引入了一个复合损失函数：(1−γ)·L_reality + γ·L_creativity，其中 γ ∈ [0,1] 控制事实准确性与生成新颖性之间的权衡。
• 将优化问题表述为最小化一个正则化目标：(1−γ)·L_exp(x) − γ·L_ent(x) + L_reg(x)，结合指数损失与熵损失。
• 提出一种随机牛顿型算法，通过子采样对角矩阵近似 Hessian 矩阵的逆，以降低计算成本。
• 该算法使用一个由 Q̃ = B_diag(x_t) + diag(w∘w) 导出的稀疏对角预条件器，通过子采样过程计算，精度 ε₁ = Θ(1)。
• 通过一个新颖的归纳引理和残差分析证明收敛性，表明在有界 Hessian 和梯度条件下，res_{t+1} ≤ 0.4·res_t。
• 该方法确保以 (1−δ) 的概率在 O(log(‖x₀−x*‖₂/ε)) 次迭代内达到 ε-精度，每次迭代的时间复杂度为 O((nnz(A) + d^ω)poly(log(n/δ)))。

实验结果

研究问题

• RQ1 大型语言模型中创造力与事实准确性之间的权衡能否被形式化为一个可微分优化问题？
• RQ2 如何通过单个超参数 γ 在训练过程中实现对创造性与精确性输出的平衡控制？
• RQ3 在结合现实与创造性分量的复合损失优化中，能够提供哪些关于收敛性和准确性的理论保证？
• RQ4 能否在高维大型语言模型中实现高效且可扩展的此类复合目标优化？
• RQ5 在使用随机 Hessian 近似训练平衡型 LLM 时，是否可能同时保持统计精度与计算效率？

主要发现

• 在标准模型范数和数据假设下，所提出的算法以至少 1−δ 的概率实现 ε-精度解。
• 每次迭代的时间复杂度为 O((nnz(A) + d^ω)poly(log(n/δ)))，使其适用于大规模模型。
• 在有界 Hessian 和梯度条件下，该方法确保全局收敛，且残差减少速率为 res_{t+1} ≤ 0.4·res_t。
• 理论分析确认损失函数的 Hessian 矩阵是正定且利普希茨连续的，支持稳定优化。
• 该算法使用一个子采样对角预条件器 Q̃，以高概率近似真实 Hessian 矩阵，从而实现高效计算。
• 该框架支持通过超参数 γ 动态调整输出风格，支持“创造型”、“平衡型”或“精确型”等模式的部署。