[論文レビュー] ChatGPT as the Transportation Equity Information Source for Scientific Writing

Boniphace Kutela, Shoujia Li+2 more|arXiv (Cornell University)|Mar 10, 2023

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本研究では、152件のWoSインデックス論文から抽出した人間が執筆した要約と比較することで、ChatGPTが交通格差研究論文の要約を生成する能力を評価している。統計的手法およびテキストマイニングを用いて分析した結果、ChatGPTと人間の要約の間には平均58%の類似度が認められ、アクセス、公共交通機関、政策といったテーマで高い類似度を示した。これは、大幅な精錬を経てこそ有用な情報源としての可能性を有するが、限られた有用性にとどまると示唆している。

ABSTRACT

Transportation equity is an interdisciplinary agenda that requires both transportation and social inputs. Traditionally, transportation equity information are sources from public libraries, conferences, televisions, social media, among other. Artificial intelligence (AI) tools including advanced language models such as ChatGPT are becoming favorite information sources. However, their credibility has not been well explored. This study explored the content and usefulness of ChatGPT-generated information related to transportation equity. It utilized 152 papers retrieved through the Web of Science (WoS) repository. The prompt was crafted for ChatGPT to provide an abstract given the title of the paper. The ChatGPT-based abstracts were then compared to human-written abstracts using statistical tools and unsupervised text mining. The results indicate that a weak similarity between ChatGPT and human-written abstracts. On average, the human-written abstracts and ChatGPT generated abstracts were about 58% similar, with a maximum and minimum of 97% and 1.4%, respectively. The keywords from the abstracts of papers with over the mean similarity score were more likely to be similar whereas those from below the average score were less likely to be similar. Themes with high similarity scores include access, public transit, and policy, among others. Further, clear differences in the key pattern of clusters for high and low similarity score abstracts was observed. Contrarily, the findings from collocated keywords were inconclusive. The study findings suggest that ChatGPT has the potential to be a source of transportation equity information. However, currently, a great amount of attention is needed before a user can utilize materials from ChatGPT

研究の動機と目的

• ChatGPTが生成するコンテンツの信頼性と有用性が、交通格差研究の文脈でどの程度であるかを評価すること。
• 査読済み論文からの人間が執筆した要約と、ChatGPTが生成した要約との類似度を比較すること。
• 類似度が高いか低いかに応じた要約ペアにおけるテーマ的パターンおよびキーワードクラスタを同定すること。
• ChatGPTのような大規模言語モデルが、交通格差のような多様な分野にまたがる学術的執筆を支援する可能性を評価すること。
• AIが生成するコンテンツを、検証なしに学術的研究に信頼性を持って使用できる範囲を特定すること。

提案手法

• Web of Science（WoS）リポジトリから152件の交通格差研究論文を収集した。
• 論文の題名をプロンプトとして用い、ChatGPTを用いて要約を生成した。
• ChatGPTが生成した要約と人間が執筆した要約との類似度を定量化するために、統計的手法を適用した。
• 無教師テキストマイニングを実施し、要約内のキーワードパターンおよびテーマクラスタを分析した。
• 類似度が高いか低いかに応じた要約ペア間でのキーワード共起およびテーマグループ化を比較した。
• 類似度スコアを平均値（58%）を基準に分類し、コンテンツ構造およびテーマ分布の差異を検証した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTが生成した要約と、交通格差研究分野における人間が執筆した要約との類似度はどの程度か？
• RQ2 ChatGPTと人間の要約の間で、類似度が高いか低いかが顕著に現れるテーマ分野は何か？
• RQ3 類似度が高いか低いかに応じた要約ペアにおけるキーワード共起パターンにどのような差異が認められるか？
• RQ4 ChatGPTは、交通格差分野の科学的執筆においてどの程度信頼できる情報源として機能できるか？
• RQ5 ChatGPTが生成した要約と研究者が執筆した要約との間には、構造的および意味的差異がどのように現れるか？

主な発見

• ChatGPTが生成した要約と人間が執筆した要約との平均類似度は58%であり、範囲は1.4%から97%まで変動した。
• 平均値を超える類似度スコアを示した要約は、キーワードの共有が顕著で、より高いテーマ的一致性を示した。
• アクセス、公共交通機関、政策といったテーマでは、ChatGPTと人間の要約との類似度が顕著に高かった。
• 類似度が高いか低いかに応じた要約ペアでは、クラスターパターンの明確な差が観察され、構造的特徴の違いが示唆された。
• キーワードコロケーション分析の結果は不確かであり、類似度が高いペアと低いペアの間で共起パターンに一貫性が認められなかった。
• 中程度の類似度が認められたものの、ChatGPTは交通格差研究における補完的情報源としての可能性を示しているが、著しいユーザーによる検証が不可欠である。