[論文レビュー] From Code-Centric to Concept-Centric: Teaching NLP with LLM-Assisted "Vibe Coding"

Hend Al-Khalifa|arXiv (Cornell University)|Feb 2, 2026

Computational and Text Analysis Methods被引用数 0

ひとこと要約

本論文は、LLM支援コード作成をNLPラボで許容する教育法であるVibe Codingを提案し、プロンプトログとリフレクションによる概念理解の評価を通じて学生の関与と公正感を促進することを示し、時間と検証の課題にもかかわらずポジティブな関与と公正感を認識した。

ABSTRACT

The rapid advancement of Large Language Models (LLMs) presents both challenges and opportunities for Natural Language Processing (NLP) education. This paper introduces ``Vibe Coding,'' a pedagogical approach that leverages LLMs as coding assistants while maintaining focus on conceptual understanding and critical thinking. We describe the implementation of this approach in a senior-level undergraduate NLP course, where students completed seven labs using LLMs for code generation while being assessed primarily on conceptual understanding through critical reflection questions. Analysis of end-of-course feedback from 19 students reveals high satisfaction (mean scores 4.4-4.6/5.0) across engagement, conceptual learning, and assessment fairness. Students particularly valued the reduced cognitive load from debugging, enabling deeper focus on NLP concepts. However, challenges emerged around time constraints, LLM output verification, and the need for clearer task specifications. Our findings suggest that when properly structured with mandatory prompt logging and reflection-based assessment, LLM-assisted learning can shift focus from syntactic fluency to conceptual mastery, preparing students for an AI-augmented professional landscape.

研究の動機と目的

• AI支援コード作成と深い概念理解を両立させることを促すNLP教育の動機づけ。
• Vibe Codingを3要素のフレームワークとして紹介（LLM利用の許容、必須プロンプトログ、リフレクションベースの評価）。
• 19名の上級学部NLPコースでのアプローチの評価。
• LLM支援ラボの学生の関与度、評価の公正感、課題の課題感の評価。
• Vibe Codingスキルの最終プロジェクトへの移転を調査。

提案手法

• 12週間の上級NLPコースにVibe Codingを実装、7つのラボと4フェーズの最終プロジェクト。
• ラボ中のコード生成でLLMsの使用を許可・奨励；プロンプトログとリフレクションベースの評価を要求。
• コース体験、Vibe Codingプロセス、評価構造、プロジェクト作業を網羅する5点リッカート質問票で評価。
• 定量的な平均値と標準偏差を分析し、自由回答のテーマ分析を実施。
• ラボはトークン化、品詞/固有表現認識、テキスト分類、n-gram、埋め込み、トランスフォーマーのファインチューニング、インコンテキスト学習などのNLPトピックを扱う。

実験結果

リサーチクエスチョン

• RQ1 構造化されたLLM支援コード作成（Vibe Coding）は、NLPラボにおける学生の関与と概念的学習にどのように影響するか？
• RQ2 評価が概念的反省をコード品質より優先する場合、学生は評価公正性をどう perceives するか？
• RQ3 学生がラボ実装でLLMsに依存する際、どのような課題が生じるか？
• RQ4 LLM支援コード作成スキルを独立したプロジェクト作業へどう移転させるか？

主な発見

• 学生は高い関与とコース材料の関連性を報告（コース関連性M=4.68, SD=0.67；理論と実践のバランスM=4.58, SD=0.69）。
• Vibe Codingは従来のラボよりも関与度が高いと見なされ（M=4.42, SD=0.84）、概念理解の教育にも有効（M=4.42, SD=0.69；批判的評価はM=4.37, SD=0.76）。
• プロンプトログは有用だったが有用性の認識にはばらつきがある（M=3.79, SD=1.13）。
• リフレクションベースの評価は公正と見なされ（M=4.21, SD=1.08）、採点の移行も適切と評価（M=4.26, SD=0.99）；ただし時間配分はあまり好ましくなかった（M=3.53, SD=1.43）。
• プロジェクト作業は価値があり、89%の学生がプロジェクトでLLMsを使用。
• 学生は認知負荷の低下を報告する一方、LLMs使用時には依然として時間圧力と検証の課題が続いた。