[논문 리뷰] From Code-Centric to Concept-Centric: Teaching NLP with LLM-Assisted "Vibe Coding"

Hend Al-Khalifa|arXiv (Cornell University)|2026. 02. 02.

Computational and Text Analysis Methods인용 수 0

한 줄 요약

이 논문은 LLM 보조 코딩을 NLP 실험실에서 허용하는 교육 방식인 Vibe Coding을 제시하고, 프롬프트 로그와 성찰을 통한 개념적 이해 평가를 통해 긍정적 참여와 공정성 인식을 보였으며 시간 및 검증의 도전과제에도 불구하고 긍정적임을 보여준다.

ABSTRACT

The rapid advancement of Large Language Models (LLMs) presents both challenges and opportunities for Natural Language Processing (NLP) education. This paper introduces ``Vibe Coding,'' a pedagogical approach that leverages LLMs as coding assistants while maintaining focus on conceptual understanding and critical thinking. We describe the implementation of this approach in a senior-level undergraduate NLP course, where students completed seven labs using LLMs for code generation while being assessed primarily on conceptual understanding through critical reflection questions. Analysis of end-of-course feedback from 19 students reveals high satisfaction (mean scores 4.4-4.6/5.0) across engagement, conceptual learning, and assessment fairness. Students particularly valued the reduced cognitive load from debugging, enabling deeper focus on NLP concepts. However, challenges emerged around time constraints, LLM output verification, and the need for clearer task specifications. Our findings suggest that when properly structured with mandatory prompt logging and reflection-based assessment, LLM-assisted learning can shift focus from syntactic fluency to conceptual mastery, preparing students for an AI-augmented professional landscape.

연구 동기 및 목표

• AI 보조 코딩과 깊은 개념적 이해의 균형을 맞추도록 NLP 교육을 자극한다.
• Vibe Coding을 세 가지 구성요소 프레임워크로 소개한다 (허용된 LLM 사용, 의무적 프롬프트 로깅, 성찰 기반 평가).
• 19명의 학부 4학년 NLP 과정에서 접근법을 평가한다.
• 학생 참여, 평가 공정성 인식, LLM 보조 실습의 도전과제를 평가한다.
• Vibe Coding 기술의 최종 프로젝트 작업으로의 전이를 조사한다.

제안 방법

• 12주간의 시니어 NLP 과정에 7개의 실습과 4단계의 최종 프로젝트를 포함하여 Vibe Coding을 구현한다.
• 실습 중 코드 생성을 위해 LLM의 사용을 허용하고 격려하며, 프롬프트 로그와 성찰 기반 평가를 요구한다.
• 과정 경험, Vibe Coding 과정, 평가 구조, 프로젝트 작업을 다루는 5점 리커트 설문으로 평가한다.
• 정량적 평균과 표준편차를 분석하고 자유형 피드백에 대해 주제 분석을 수행한다.
• 실습은 토큰화, 품사/NER, 텍스트 분류, n-그램, 임베딩, 트랜스포머 미세조정, 및 인컨텍스트 학습 등을 포함한 NLP 주제를 다룬다.

실험 결과

연구 질문

• RQ1 구조화된 LLM 보조 코딩(Vibe Coding)이 NLP 실험실에서 학생 참여와 개념적 학습에 어떤 영향을 미치는가?
• RQ2 평가가 코드 품질보다 개념적 성찰을 우선시할 때 학생들의 평가 공정성 인식은 어떠한가?
• RQ3 학생들이 실습 구현에 LLM에 의존할 때 어떤 도전과제가 생기는가?
• RQ4 학생들은 LLM 보조 코딩 기술을 독립 프로젝트 작업으로 어떻게 전이하는가?

주요 결과

• 학생들은 높은 참여와 코스 자료의 관련성을 지적했다(과정 관련성 M=4.68, SD=0.67; 이론/실무 균형 M=4.58, SD=0.69).
• Vibe Coding은 전통 실습보다 더 참여도가 높다고 평가되었고( M=4.42, SD=0.84 ) 개념적 이해 교육에 효과적이었다( M=4.42, SD=0.69 ; 비판적 평가에 대해 M=4.37, SD=0.76 ).
• 프롬프트 로그는 유용했으나 유용성 인식에 더 큰 변동성을 보였다( M=3.79, SD=1.13 ).
• 성찰 기반 평가가 공정하다고 여겨졌고( M=4.21, SD=1.08 ) 채점 방향의 변화도 적절하다고 보았다( M=4.26, SD=0.99 ); 시간 배분은 덜 우호적이었다( M=3.53, SD=1.43 ).
• 프로젝트 작업은 가치 있었고 학생의 89%가 프로젝트에 LLM을 사용했다.
• 학생들은 인지 부담이 감소했다고 보고했으나 LLM 사용 시 지속적인 시간 압박과 검증 도전과제도 남아 있었다.