[論文レビュー] The Case for API Communicability Evaluation: Introducing API-SI with Examples from Keras

Luiz Marques Afonso, João Antonio Marcondes Dutra Bastos+2 more|arXiv (Cornell University)|Aug 17, 2018

Software Engineering Research参考文献 24被引用数 4

ひとこと要約

本稿では、APIの構造、動作、ドキュメントにおける記号を通じて、設計意図をどれだけ効果的に伝えるかを評価する、象徴的評価手法であるAPI-SIを紹介する。Kerasに適用した結果、暗黙的および明示的な記号が開発者の理解に与える影響が明らかになり、ソフトウェア工学分野における従来の使いやすさ評価と補完的に機能する、実用的でアクセスしやすいAPIの通信性向上ツールが提供される。

ABSTRACT

In addition to their vital role in professional software development, Application Programming Interfaces (APIs) are now increasingly used by non-professional programmers, including end users, scientists and experts from other domains. Therefore, good APIs must meet old and new user requirements. Most of the re-search on API evaluation and design derives from user-centered, cognitive perspectives on human-computer interaction. As an alternative, we present a lower-threshold variant of a previously proposed semiotic API evaluation tool. We illustrate the procedures and power of this variant, called API Signification Inspection (API-SI), with Keras, a Deep Learning API. The illustration also shows how the method can complement and fertilize API usability studies. Additionally, API-SI is packaged as an introductory semiotic tool that API designers and researchers can use to evaluate the communication of design intent and product rationale to other programmers through implicit and explicit signs thereof, encountered in the API structure, behavior and documentation.

研究の動機と目的

• 専門家だけでなく、科学者や分野専門家を含む非専門家に対しても理解可能なAPIの需要が高まっているという状況に対応すること。
• APIの構造、動作、ドキュメントにおける記号を通じた設計意図の通信性に焦点を当てた、象徴的API評価の低門檻版を提案すること。
• APIデザイナーおよび研究者にとって、APIがその根拠や意図をどれだけうまく伝えているかを評価できる、実用的でアクセスしやすいツールを提供すること。
• 象徴的分析が、従来の使いやすさ評価や認知ベースのAPI評価手法とどのように補完的・拡張的に機能するかを実証すること。

提案手法

• API-SIは象徴的理論を応用し、API内に存在する明示的および暗黙的な記号を分析することで、設計意思決定が開発者にどのように伝わるかを評価する。
• 本手法は3つの次元を評価する：構造的記号（例：クラス名やメソッド名）、行動的記号（例：メソッドの振るまいや戻り値の型）、ドキュメンテーション的記号（例：コメントや例示コード）。
• 評価者は、記号の意味的含意（すなわち、APIの目的や設計について何を示唆・示唆しているか）に基づいて、記号を解釈する構造化された点検プロセスを用いる。
• 本手法はピアーシアの象徴的理論に根ざしており、模倣（アイコン）、因果的関連（インデックス）、慣習的意味（シンボル）の3種類の記号を区別する。
• API-SIは入門用ツールとして設計されており、象徴学に精通していない者でも、API評価に体系的かつ的確に応用できるように工夫されている。
• Keras（ディープラーニングAPI）を対象とした事例研究を通じて、本手法の実用的応用とその洞察の有効性を検証した。

実験結果

リサーチクエスチョン

• RQ1 APIの記号は、開発者に対して設計意図や製品の根拠をどれだけ効果的に伝えているか？
• RQ2 象徴的分析は、APIの構造や動作における隠れたまたは暗黙の設計意思決定をどの程度明らかにできるか？
• RQ3 API-SIは、既存の使いやすさ評価や認知ベースのAPI評価手法と、どのように比較・補完的か？
• RQ4 象徴学に熟達していない者でも、Kerasのような実世界のAPIに対して、API-SIを一貫的かつ意味的に適用できるか？
• RQ5 KerasのAPI構造、動作、ドキュメントにおける、具体的に通信性を高めるか妨げるかとなる記号は何か？

主な発見

• API-SIは、Kerasにおける特定の命名規則やメソッド振るまいが、開発者に対して設計パターンや意図を暗黙的に効果的に伝える仕組みを特定できた。
• 本手法により、'Dense' や 'Conv2D' といった特定のメソッド名が、機能を視覚的に示唆するアイコン的記号として機能しており、発見性が向上していることが明らかになった。
• ドキュメンテーション的記号、特にコード例やdocstringの明確さが、Keras APIの認識上の通信性に顕著な影響を与えていることが判明した。
• 行動的記号（例：予期しない戻り値の型）と構造的記号の間に矛盾がある箇所が特定され、それらが混乱を引き起こしていた。
• API-SIは、従来の使いやすさテストが見逃しがちな、API内の微細な通信失敗を明らかにする実用的価値を示した。
• 事例研究により、象徴的評価が、構文的正しさや機能的正しさを超えて、API設計の改善に役立つ具体的なインサイトを提供できることを確認した。