[논문 리뷰] Stan: An LLM-based thermodynamics course assistant

Eric M. Furst, Vasudevan Venkateshwaran|arXiv (Cornell University)|2026. 03. 04.

Topic Modeling인용 수 0

한 줄 요약

Stan은 열역학 수업을 위한 이중 용도 LLM 기반 도구체인으로, 학생의 질문을 교과서와 강의 녹취록에 바탕을 두고 교사 분석 기능을 제공하며, 모두 로컬 하드웨어에서 오픈 모델로 실행됩니다.

ABSTRACT

Discussions of AI in education focus predominantly on student-facing tools -- chatbots, tutors, and problem generators -- while the potential for the same infrastructure to support instructors remains largely unexplored. We describe Stan, a suite of tools for an undergraduate chemical engineering thermodynamics course built on a data pipeline that we develop and deploy in dual roles: serving students and supporting instructors from a shared foundation of lecture transcripts and a structured textbook index. On the student side, a retrieval-augmented generation (RAG) pipeline answers natural-language queries by extracting technical terms, matching them against the textbook index, and synthesizing grounded responses with specific chapter and page references. On the instructor side, the same transcript corpus is processed through structured analysis pipelines that produce per-lecture summaries, identify student questions and moments of confusion, and catalog the anecdotes and analogies used to motivate difficult material -- providing a searchable, semester-scale record of teaching that supports course reflection, reminders, and improvement. All components, including speech-to-text transcription, structured content extraction, and interactive query answering, run entirely on locally controlled hardware using open-weight models (Whisper large-v3, Llama~3.1 8B) with no dependence on cloud APIs, ensuring predictable costs, full data privacy, and reproducibility independent of third-party services. We describe the design, implementation, and practical failure modes encountered when deploying 7--8 billion parameter models for structured extraction over long lecture transcripts, including context truncation, bimodal output distributions, and schema drift, along with the mitigations that resolved them.

연구 동기 및 목표

• 교과서 콘텐츠에 근거한 검색 강화 생성(RAG) 시스템을 열역학의 학생 질의에 적용.
• 강의 녹취록을 요약, 질문, 혼란 신호, 일화를 포함하는 강사용 분석 도구를 제공.
• 개인정보 보호와 재현성을 위해 모든 구성 요소가 오픈 가중치 모델로 로컬 제어형 하드웨어에서 실행되도록 보장.
• 도메인 용어 전사, 환각 완화, 스키마 드리프트와 같은 실용적 배포 과제 해결.
• 공유 데이터 백본(강의록과 교과서 색인)에서 학생과 강사 두 가지 워크플로우를 지원.

제안 방법

• 배치 처리용 GPU 워크스테이션과 로컬 추론으로 인터랙티브 질의를 위한 노트북의 2단계 하드웨어 아키텍처를 구축.
• 백서 뒤쪽 색인과 PDF에서 추출한 목차 트리로 구조화된 교과서 표현을 구성.
• 정규식(regex) + 로컬 LLM의 이중 경로 용어 추출을 사용하여 색인을 검색하고 최대 점수 병합으로 최상위 매치를 선택.
• 상위 검색 항목에서 명시된 챕터/절/페이지 참조를 포함한 제약된 맥락을 구성하여 LLM 생성 학생 응답을 지탱.
• 강의 녹취록을 LLM 주도 분석 파이프라인으로 처리하여 각 강의의 요약, 질문, 혼란 신호, 일화를 JSON으로 생성.
• _decoder 수준 제어, 맥락 분리, 후처리를 통해 반복 구간을 크게 줄여 전사 환각을 완화.
• 도메인 프롬프트화를 적용한 Whisper 전사와 기관 ASR 전사를 비교하여 도메인 용어 충실도와 맥락 정합성을 평가.
• 벤더 락인 우회를 위해 기관 녹음의 직접 USB 오디오 캡처 또는 개방 API 접근을 옹호.

실험 결과

연구 질문

• RQ1 LLM 기반 어시스턴트를 설계하여 열역학 질의를 교과서 및 강의 콘텐츠에 근거시키면서 환각을 피하는 방법은?
• RQ2 강사용 분석이 원시 데이터를 노출하지 않으면서 강좌 성찰과 개선을 지원할 수 있는가?
• RQ3 대학교 수업에서 로컬의 오픈 모델 도구를 위한 실제 배포 고려사항(하드웨어, 프라이버시, 저작권)은 무엇인가?
• RQ4 도메인 인지 전사 및 이중 경로 추출이 근거 품질과 검색 관련성에 어떤 영향을 미치는가?

주요 결과

• 로컬의 오픈 모델 스택(Whisper large-v3, Llama 3.1 8B)과 이중 계층 하드웨어 설정은 클라우드 API 없이 전사, 색인, 인터랙티브 질의를 가능하게 한다.
• 도메인 어휘 프롬프트가 특수 열역학 용어의 전사 정확도를 향상시켜 일반 전사와 비교해 오인식을 줄인다.
• 3단계 완화 전략(디코더 페널티, 맥락 분리, 후처리)으로 전사 환각이 6.4%에서 0.02%로 크게 감소한다.
• 기관 ASR 전사는 도메인 프롫된 Whisper와 유사한 단어 수와 도메인 용어 빈도를 보이지만, 도메인 프롬프트가 주변 맥락을 더 잘 보존한다.
• 학생 대상 파이프라인은 이중 경로 용어 추출기(regex와 LLM)와 최대 점수 병합으로 질의를 구조화된 교과서 색인에 견고하게 매핑한다.
• 강사 대상 파이프라인은 RTX 4090에서 15분 미만에 각 강의의 요약, 질문, 혼란 신호, 일화를 생성하여 학기 규모 분석이 가능하다.
• 각 강의별 직접 처리와 오픈 하드웨어는 클라우드 서비스 및 벤더 시스템 의존도를 줄여 프라이버시와 재현성을 돕는다.