[论文解读] CoLadder: Supporting Programmers with Hierarchical Code Generation in Multi-Level Abstraction

Ryan Yen, Jiawen Zhu+3 more|arXiv (Cornell University)|Oct 12, 2023

Software Engineering Research被引用 4

一句话总结

CoLadder 是一个交互式系统，通过支持分层任务分解、模块化提示块以及在提示编写过程中直接操作代码，帮助程序员实现分层代码生成。一项针对12名经验丰富的程序员的用户研究显示，该系统通过在不同抽象层级上对齐提示与心智模型，显著提升了意图的外部化表达，并减少了早期阶段的代码编辑。

ABSTRACT

Programmers increasingly rely on Large Language Models (LLMs) for code generation. However, misalignment between programmers' goals and generated code complicates the code evaluation process and demands frequent switching between prompt authoring and code evaluation. Yet, current LLM-driven code assistants lack sufficient scaffolding to help programmers format intentions from their overarching goals, a crucial step before translating these intentions into natural language prompts. To address this gap, we adopted an iterative design process to gain insights into programmers' strategies when using LLMs for programming. Building on our findings, we created CoLadder, a system that supports programmers by facilitating hierarchical task decomposition, direct code segment manipulation, and result evaluation during prompt authoring. A user study with 12 experienced programmers showed that CoLadder is effective in helping programmers externalize their problem-solving intentions flexibly, improving their ability to evaluate and modify code across various abstraction levels, from goal to final code implementation.

研究动机与目标

• 为解决使用 LLM 进行编程时在意图形成与外部化方面缺乏支撑的问题。
• 减少因程序员目标与生成代码之间不匹配而带来的认知负担。
• 在提示编写中支持灵活的多层级抽象，以提升代码生成与评估的效果。
• 探究分层任务分解如何在 LLM 辅助编程工作流中提升控制力与理解力。

提出的方法

• CoLadder 采用基于树形结构的编辑器，使程序员能够将任务分层分解为对应特定代码段的模块化提示块。
• 每个提示块通过 LLM 生成，并直接映射到一个代码段，从而实现结构化、多层级的抽象。
• 该系统支持基于块的代码操作，允许用户在不重新完整提示的情况下直接操作生成的代码段。
• 在提示编写过程中集成实时结果评估，以支持迭代优化并确保与意图的一致性。
• 通过观察程序员使用 LLM 的策略，采用迭代式设计过程来指导系统开发。
• 通过 12 名经验丰富的程序员的用户研究，评估 CoLadder 在意图外部化、代码控制力以及理解力方面的影响。

Figure 1. CoLadder enables programmers to flexibly decompose tasks, aligning with their mental models for solving programming tasks using LLM-driven code assistants (A). The system provides a tree-based editor that allows programmers to hierarchically express their intent through smaller, modular-ba

实验结果

研究问题

• RQ1 RQ1：程序员在使用 LLM 进行代码生成时，如何形成并外部化其意图？
• RQ2 RQ2：CoLadder 在多大程度上提升了程序员对提示到代码生成过程的控制力？
• RQ3 RQ3：CoLadder 如何影响程序员在不同抽象层级上评估和修改代码的能力？
• RQ4 RQ4：CoLadder 对程序员的理解力与代码可维护性有何影响？

主要发现

• 由于采用了基于块的代码操作功能，参与者在使用 CoLadder 时，尤其是在早期阶段，显著减少了代码编辑量。
• CoLadder 有效提升了程序员分层外部化并细化意图的能力，使其与问题解决的心智模型保持一致。
• 该系统改善了对意图支撑过程的控制力（RQ2），尽管未必显著提升对最终程序代码本身的控制力。
• 参与者在回忆测试中表现出更强的程序理解力，表明使用 CoLadder 有助于更深入理解代码结构。
• 对 LLM 建议的过度依赖被减少，参与者更多采用有意识的、逐步构建程序的方式。
• 任务熟悉度与感知工作量及满意度之间仅存在微弱至中等程度的相关性，表明在系统有效性方面，经验的重要性超过特定任务的知识。

Figure 2. We have adapted Norman’s seven stages of action to illustrate cognitive processes when interacting with LLM-driven systems. This model covers programmer intention formation (E) and externalization (F) within the gulf of execution , while the gulf of evaluation evaluates alignment between g