[論文レビュー] Authoring Programming Exercises for Automated Assessment Assisted by Generative AI

Erik Brynjolfsson, Danielle Li+1 more|arXiv (Cornell University)|Apr 23, 2023

Digital Economy and Work Transformation被引用数 13

ひとこと要約

本研究では、フォーチュン500企業のカスタマーサポート環境に大規模に展開された生成AIチャットアシスタントの実効性を評価し、作業者の生産性を平均で15%向上させることを示している。特に経験が浅くスキルが低いエージェントの向上幅が顕著である。AIはスピード、品質、学習の向上をもたらし、特に初心者において顕著である。また、顧客満足度を向上させ、離職率の低下をもたらしている。

ABSTRACT

Generative AI presents both challenges and opportunities for educators. This paper explores its potential for automating the creation of programming exercises designed for automated assessment. Traditionally, creating these exercises is a time-intensive and error-prone task that involves developing exercise statements, solutions, and test cases. This ongoing research analyzes the capabilities of the OpenAI GPT API to automatically create these components. An experiment using the OpenAI GPT API to automatically create 120 programming exercises produced interesting results, such as the difficulties encountered in generating valid JSON formats and creating matching test cases for solution code. Learning from this experiment, an enhanced feature was developed to assist teachers in creating programming exercises and was integrated into Agni, a virtual learning environment (VLE). Despite the challenges in generating entirely correct programming exercises, this approach shows potential for reducing the time required to create exercises, thus significantly aiding teachers. The evaluation of this approach, comparing the efficiency and usefulness of using the OpenAI GPT API or authoring the exercises oneself, is in progress.

研究の動機と目的

• 大規模なカスタマーサービス環境における生成AIの現実世界への影響を評価すること。
• AIアシスタンスが経験やスキル水準の異なる従業員にどのように影響を与えるかを検討すること。
• AI導入が従業員の学習を促進し、顧客満足度や離職率といった仕事体験の指標を改善するかどうかを調査すること。
• 生産性向上の背後にあるメカニズムを解明すること。特に、AIの助言への準拠度と持続的な学習効果に注目する。
• 組織設計、報酬水準、および労働市場の均衡に及ぼすAI使用の長期的影響を評価すること。

提案手法

• フォーチュン500企業の5,172人のカスタマーサポートエージェントに、GPTベースの対話型AIアシスタントを段階的に導入した。
• 固定効果を用いたパネルデータ分析により、生産性、品質、離職率に与える因果的影響を推定し、時間、場所、エージェント固有の要因を制御した。
• 生産性は1時間あたりに解決された問題数として測定し、処理時間、マルチタスク対応能力、解決率に分解した。
• AIが利用不能となった障害発生期間を分析し、AIへの依存とは独立した持続的な学習効果を隔離した。
• AIの助言への準拠度を追跡し、特に時間経過とともに生産性向上と相関があるかを分析した。
• 離職データを用いて、同等の勤務期間を持つ処置群と非処置群を比較し、長期的な従業員体験を評価した。

実験結果

リサーチクエスチョン

• RQ1 生成AIは現実のカスタマーサポート環境における作業者の生産性にどのような影響を与えるか？
• RQ2 AIによる生産性向上は、経験やスキル水準の異なる従業員間でどのように変化するか？
• RQ3 AIの助言が、継続的なAI支援とは独立して、持続的な学習をもたらす程度はどの程度か？
• RQ4 AI導入は顧客満足度や従業員離職率にどのように影響を与えるか？
• RQ5 AI使用は、報酬水準、組織設計、および労働市場の均衡にどのような意味を持つのか？

主な発見

• AIアシスタンスにより、1時間あたりに解決された問題数という指標で、作業者の生産性が平均で15%向上した。
• 経験が浅くスキルが低いエージェントは、1時間あたりに解決する問題数が30%増加し、経験豊富な同僚とのパフォーマンス格差が縮小した。
• 経験が豊富でスキルが高いエージェントは、スピード向上が限定的であり、会話の品質にわずかな低下が見られた。
• AIの障害発生時にも生産性の向上が持続しており、特に過去にAIの助言をよく守っていたエージェントで顕著だった。
• 6か月未満の勤務期間のエージェントにおいて、AI導入により離職率が10ポイント低下した。これはベースライン比で40%の削減に相当する。
• AIアシスタンスにより顧客満足度が向上し、マネージャーに接続を要請する確率が低下し、より丁寧な言動が見られた。