[論文レビュー] Testing RESTful APIs: A Survey

Amid Golmohammadi, Man Zhang+1 more|arXiv (Cornell University)|Dec 30, 2022

Software System Performance and Reliability被引用数 7

ひとこと要約

このサーベイは、RESTful APIの自動テストに関する92篇の学術論文を分析し、テスト手法、ツール、課題を分類している。主な傾向として、2017年以降の研究関心の急増、ブラックボックステストの優位性、外部サービス、データベース、不完全なスキーマの取り扱いに関する未解決の課題を特定した。

ABSTRACT

In industry, RESTful APIs are widely used to build modern Cloud Applications. Testing them is challenging, because not only they rely on network communications, but also they deal with external services like databases. Therefore, there has been a large amount of research sprout in recent years on how to automatically verify this kind of web services. In this paper, we review the current state-of-the-art on testing RESTful APIs, based on an analysis of 92 scientific articles. This review categories and summarizes the existing scientific work on this topic, and discusses the current challenges in the verification of RESTful APIs.

研究の動機と目的

• RESTful APIの自動テスト分野における最新の研究動向を体系的に概説すること。
• 分野で用いられている研究手法、ツール、評価手法を特定・分類すること。
• 外部依存関係やスキーマの制限に関する、RESTful APIテストにおける未解決の課題と研究ギャップを強調すること。
• 本トピックに関する92篇の科学的論文を体系的に分析することで、今後の研究を支援すること。

提案手法

• 主要な学術データベースから得た92篇の査読済み論文を対象に、系統的な文献レビューを実施した。
• 関連論文の漏れを最小限に抑えるために、前向きおよび後向きのスノーボール手法を用いた。
• 複数名による合意形成プロセスを適用することで、論文の選定およびデータ抽出におけるバイアスを低減し、信頼性を向上させた。
• 出版傾向、テスト手法（ブラックボックス対ホワイトボックス）、評価指標、ツール機能に基づいて研究を分類した。
• レビュー対象の文献に報告されたオープンな問題や制限をテーマコード化することで、研究上の課題を分析した。
• テストケース生成やカバレッジメトリクスなどの機能に注目し、オープンソースプロトタイプおよび商用ツールの支援状況を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: RESTful APIテストに関する論文は、年間で何編発表されたか？
• RQ2 RQ2: これらの論文はどの学術会議やジャーナルに発表されたか？
• RQ3 RQ3: 文献において最も頻出するRESTful APIテスト分野の貢献は何か？
• RQ4 RQ4: テスト手法の有効性を評価するために用いられるメトリクスは何か？
• RQ5 RQ5: RESTful APIの自動テストで一般的に用いられるテスト手法は何か？

主な発見

• 2017年以降、RESTful APIテスト分野における研究関心が急増しており、主なソフトウェア工学の会議で発表数が著しく増加している。
• ブラックボックステストが文献において支配的であり、多くの手法がファズァーに基づくテスト生成やAPI仕様の分析に依存している。
• RESTful APIの自動ホワイトボックステストをサポートするツールは、EvoMasterの1つだけであるため、コードレベルの深いテスト分野に研究ギャップがある。
• データベースやサードパーティサービスなどの外部依存関係の取り扱いは依然として大きな課題であり、特にブラックボックステストでは状態依存関係を特定するのが困難である。
• 正式に文書化されていないデータ制約（underspecified schemas）は、テスト生成やカバレッジに顕著な課題をもたらしており、この問題に対応するツールは少数にとどまる。
• オープンソースプロトタイプは多数存在するが、多くのツールがNoSQLデータベース（例：MongoDB）などの現代的なデータストアをサポートしていないため、実用的応用性が制限されている。